上周，Meta 推出了一種名為 Galactica 的新型大型語言模型（large language model，LLM），它由 4800 萬篇科學文章、網站文章、教科書、講義和維基等訓練而成。其本意是想解決學術界信息過載，幫助研究人員做信息梳理、知識推理和寫作輔助，一度被認為是“科研者的福音”。Meta 將其模型宣傳為“可以總結學術論文，解決數學問題，生成維基文章，編寫科學代碼，為分子和蛋白質做注解，等等。”

但是，它并沒有像 Meta 所希望的那樣大放異彩。MIT Technology Review 報道，三天后，在激烈的爭議中，Meta 撤下了它的在線演示版本。

時至今日，圍繞 Galactica 的討論并沒有停止。

人工智能or科學造假制造機

人們是如何發現 Galactica 有問題的？

Galactica 一經開放使用，就吸引了大波網友和研究人員開始試用，有科研人員發現它確實能為自己生成的內容引用文獻，但有時這個文獻并不存在，作者卻是真實存在的人。

也有科學家實驗過后發現 LLM 即使能產出看似有條理的文本，但其實并無法理解其中意義。因此科學家發現 LLM 模型可能產出具有偏見的文章，或是出現事實謬誤。

著名的 AI 學者 Gary·Marcus 表示，Galactica 把他的出生日期、教育經歷和研究領域等信息全搞錯了。

類似的討論也發生在 Twitter 上。如果你讓AI生成一篇關于“生活在太空的熊”的維基頁面，AI 也會試著生成。

除了生成論文，Galactica 也可以生成詞條的百科查詢、對所提問題作出知識性的回答，除了文本生成外，還可以執行涉及化學公式和蛋白質序列的多模態任務。例如在化學反應中，要求 Galactica 在化學方程 LaTeX 中預測反應的產物，模型僅根據反應物就能進行推理，結果如下：

總體來看，Galactica 有點問題，也有點意思。

科學家與網友怎么看

在模型發布當天，Meta AI 的首席 AI 科學家 Yan LeCun 表示：“輸入文本，Galactica 將生成包含相關參考文獻、公式和所有內容的論文。”

而知名 AI 學者、Robust.AI 創始人 Gary Marcus 對 Galactica 模型測試過后表達了強烈的質疑：大型語言模型（LLM）混淆數學和科學知識有點可怕。高中生可能會喜歡它，并用它來愚弄他們的老師。這應該令我們感到擔憂。

有網友提出一些反對意見，與其帶來的好處相比，Galactica 會帶來更多負面后果，想想這對學生寫論文會有什么影響。它產出的偽論文可能危害真正的科學研究。

有人將其歸因于深度學習的局限性：深度學習的本質是從數據中學習，這本來就不同于人類的智能，根本無法實現通用人工智能（AGI）。

馬克斯普朗克智能系統研究所所長 Michael Black 則認為這不是個好的導向：“它提供了聽起來是權威的科學，但沒有科學方法的基礎。Galactica 根據科學寫作的統計特性產生偽科學，很難區分真假。這可能會開啟一個深度科學造假的時代。這些被生成的論文將被其他人在真實的論文中引用。這將會是一團亂麻。我贊賞這個項目的初衷，但提醒大家還是要注意，這不是科學的加速器，甚至也不是科學寫作的有用工具。這對科學來說是潛在的扭曲和危險。”

三天后 Galactica 被撤，Yan LeCun 在推特上寫道：“ Galactica 演示暫時下線。不再可能通過隨意濫用它來獲得一些樂趣。開心嗎？”

這位大拿的反應有些耐人尋味，自此引發了后續人們對“研究批評”的討論。

開放研究批評，再給 AI 通用化一些時間

近日，有國外技術評論文章表示：

圖靈獎獲得者、Meta 首席科學家 Yann LeCun 為 Galactica 的撤退而辯護的態度是荒謬的，他不允許外人去批評產品是有問題的。而 Meta 官方對 Galactica 被撤的反應比較平和中正。

LeCun 曾回應 AI 評論家 Gary Marcus：或者它 （Galactica）被刪除是因為像你（Marcus）這樣的人濫用模型并歪曲它。感謝您刪除了一個有用且有趣的公共演示，這就是我們不能擁有好東西的原因。

Meta 官方“感謝大家嘗試卡拉狄加模型演示。我們感謝迄今為止從社區收到的反饋，并暫時暫停了演示。我們的模型可供想要了解更多有關工作并重現論文結果的研究人員使用。”

他認為官方對自己使用自己的代碼所做的事情負責，而不是在指責批評家。而Yann LeCun 的反應有些過度，我們應該允許大眾對學術領域批評，而不是壓制，研究批評不該被視為人身攻擊。

近年來，新型軟硬件計算系統、大數據、機器學習的發展，使得人工智能的潛能得到了很大發揮，形成了新的生產力，在社會發展各方面發揮巨大作用。但目前人工智能應用的瓶頸仍在于怎樣向各行各業推廣，將人工智能工具做到易用、安全，使知識獲取像互聯網搜索那樣簡單，并以一種容易理解、安全可靠的方式加以運用。當一個新事物出現，我們可能需要以更平和的心態來看待。

參考來源：

• https://statmodeling.stat.columbia.edu/2022/11/23/bigshot-chief-scientist-of-major-corporation-cant-handle-criticism-of-the-work-he-hypes/

• https://www.technologyreview.com/2022/11/18/1063487/meta-large-language-model-ai-only-survived-three-days-gpt-3-science/

• https://twitter.com/GaryMarcus/status/1593264844412977158?s=20&t=Gw8PrA_Ytku9_9TaubsHyw

• https://twitter.com/paperswithcode/status/1593259033787600896