豐色 發自 凹非寺量子位 | 公眾號 QbitAI

最新中文語言理解領域權威榜單CLUE，誕生了一項新的紀錄：

來自阿里達摩院的大模型，獲得了超越人類成績的86.685高分。

這是該榜單誕生近三年以來，首次有AI超過人類得分。

這也意味著AI理解中文的水平又達到了一個新的高度。

那么，創下這一紀錄的AliceMind，是如何做到的？

作為業界最權威的中文自然語言理解榜單之一，CLUE從文本分類、閱讀理解、自然語言推理等9項任務中全面考核AI模型的語言理解能力。

過去三年，該榜單吸引了眾多國內NLP團隊的參與，盡管榜首位置多次易主，但參評AI模型一直未能超越人類成績。

本次，這個來源于阿里通義大模型系列的AliceMind，一舉在4項任務中超過了人類水平，并實現總分的首次超越。

據介紹，AliceMind一共靠下面兩個關鍵技術獲得這一成績。

首先，基礎模型迭代升級

AliceMind的基礎模型在通用語言預訓練模型StructBERT1.0（入選ICLR 2020）之上，進行了迭代升級。

此前1.0的工作聚焦于通過在句子級別和詞級別引入兩個新的目標函數，相當于給機器內置一個“語法識別器”。

這使機器在面對語序錯亂或不符合語法習慣的詞句時，仍能準確理解并給出正確的表達和回應，大大提高機器對詞語、句子以及語言整體的理解力。

本次，達摩院通過使用此前團隊用于PLUG/中文GPT-3等超大規模模型訓練所使用的海量高質量中文文本，以及近兩年訓練技術的經驗，進行了以下改進：

• 替換激活函數，用GLU替換GeLU；

• 使用更大規模的字/詞混合的詞表，替換了原始的字級別詞表；

• 使用相對位置向量替代絕對位置向量；

• 選取5億規模的模型，在增加約60%模型參數和計算量的前提下，獲得性能顯著提升。

此外，阿里達摩院配合AliceMind在大規模預訓練領域訓練端和推理端的加速技術的積累，利用StrongHold(SuperComputing 2022)等技術實現了在16卡A100上用14天時間完成超過500B tokens的訓練。

其次，Finetune

預訓練模型是語義理解的重要基礎，但是如何將其應用于下游任務同樣也是一項重要的挑戰。

達摩院NLP團隊面對語義相似度、文本分類、閱讀理解等下游任務，從遷移學習、數據增強、特征增強等方面進行了一系列的探索，來提升下游任務的性能表現。

以CLUE榜單中的WSC任務為例：{“target”: {“span2_index”: 25, “span1_index”: 14,“span1_text”: “小橋”, “span2_text”: “它”},“idx”: 14,“label”: “true”,“text”: “村里現在最高壽的人，也不知這小橋是什么年間建造的。它年年搖搖欲墜，但年年都存在著。”}

輸入樣本構建方式：

村里現在最高壽的人，也不知這<名詞>小橋</名詞>是什么年間建造的。<代詞>它</代詞>年年搖搖欲墜，但年年都存在著。

在常規的分類方法中，一般使用[CLS]標簽的最后一層隱藏狀態作為輸入分類器的特征，要求模型通過標記隱式地學習指代任務。

為了加強分類器的輸入特征，阿里達摩院從編碼器最后一層隱藏狀態中提取出指代詞和名詞所對應的向量表示并進行mean pooling。

隨后將名詞和代詞的向量表示進行拼接，并用分類器進行0-1分類。在加入增強輸入特征后，在dev集上，模型表現從87.82提升至93.42(+5.6)。

通過分析structbert的預訓練任務，我們也可以發現，這種特征構建的方式，更符合structbert預訓練任務的形式，縮短了Pretrain階段和Fine-tune階段的gap，從而提高了模型表現。

△structbert預訓練任務

阿里達摩院歷經三年研發出阿里通義AliceMind。

該模型體系涵蓋預訓練模型、多語言預訓練模型、超大中文預訓練模型等，具備閱讀理解、機器翻譯、對話問答、文檔處理等能力。

并先后登頂了GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO在內的自然語言處理領域的的六大權威榜單，斬獲36項冠軍。

AliceMind已于去年6月開源。

本次在CLUE benchmark上首超人類中所使用的backbone模型，已經在達摩院此前發布的ModelScope平臺中開放。

開放地址：https://modelscope.cn/models/damo/nlp_structbert2_fill-mask_chinese-large/summary