ChatGPT跟人類聊一下,就能識別老年癡呆,準確率80%
大數據文摘出品
ChatGPT最近憑借強大的功能席卷了互聯網,起草法律合同、寫小說都不在話下,甚至還能幫你編程。
不過這些好像都是人類在測試AI,那ChatGPT能不能反過來從和人類的對話中獲得一些有用的信息呢?
但事實證明,ChatGPT的技術確實可以做到,比如幫助發現阿爾茨海默氏病的早期癥狀。
阿爾茨海默氏病俗稱“老年癡呆”,這種疾病最常見和最明顯的癥狀之一是語言問題,比如語法錯誤、停頓、重復或忘詞義,費城生物醫學工程卓克索大學的一項研究發現,ChatGPT就可以通過和人類的對話,發現是不是有這樣的癥狀,從而及時提示患病風險。
用ChatGPT發現早期阿爾茨海默氏病,準確率80%
早期發現阿爾茨海默氏癥可以顯著改善治療選擇,給患者時間改變生活方式,從而減緩病情惡化。診斷這種疾病通常需要腦部成像或長時間的認知評估,但是這可能既昂貴又費時,因此不適合進行廣泛的篩查。
隨著AI技術流行起來的自動語音分析是早期發現阿爾茨海默氏癥的一個有前途的途徑,費城生物醫學工程卓克索大學教授Liang表示,這種疾病最常見和最明顯的癥狀之一是語言問題,比如語法錯誤、停頓、重復或忘詞義,這使得人們對利用機器學習來發現人們說話方式中疾病的早期跡象越來越感興趣。
“我們的希望是,我們可以利用機器學習來獲取這些信號,使我們能夠進行早期診斷。”
通常情況下,這一技術依賴于專門建立的模型,但是Liang和他的同事想看看他們是否可以重新利用ChatGPT背后的技術——OpenAI的大型語言模型GPT-3——來發現阿爾茨海默氏癥的跡象。
他們發現ChatGPT確實可以區分阿爾茨海默病患者和健康志愿者的語音記錄,準確率達到80%。
“像 GPT-3這樣的大型語言模型非常強大,它們能夠發現這些微妙的差異,”Liang說。“如果研究對象有某種(涉及)阿爾茨海默氏癥的問題,而這種問題已經在語言中得到了反映,我們希望能夠利用機器學習來獲取這些信號,使我們能夠進行早期診斷。”
研究人員對從健康志愿者和阿爾茨海默氏癥患者身上采集的237段錄音進行了測試,這些錄音使用預先訓練好的語音識別模型轉換成文本。為了獲得 GPT-3的幫助,研究人員利用了它不太為人所知的能力之一。它的 API 使得向模型中輸入一段文本成為可能,并讓模型輸出“embedding”——一段文本的數字表示,這段文本對其含義進行編碼,可用于評估其與其他文本的相似性。
盡管大多數機器學習模型都處理“embedding”,但是GPT-3的一個新特性是它足夠強大,可以為整個段落生成“embedding”。并且由于模型的巨大規模和用于訓練它的海量數據,它能夠產生非常豐富的文本表示。
研究人員利用這種能力為來自老年癡呆癥患者和健康個體的所有轉錄本創建“embedding”。然后,他們選擇了這些“embedding”,結合標簽來說明它們來自哪個組,并用它們訓練機器學習分類器來區分兩個組。
微調反而使得準確率降低,未來還有工作要做
根據《公共科學圖書館 · 數字健康》雜志的一篇論文報道,當在看不見的轉錄本上測試時,最好的分類器達到了80.3%的準確率。
這明顯好于研究人員對語音數據采用更傳統的方法得到的74.6%的結果,后者依賴于聲學特征,而這些特征必須由專家精心識別。他們還將自己的技術與幾種使用大型語言模型的尖端機器學習方法進行了比較,這些方法還包括一個額外的步驟,即利用從訓練數據中獲得的一些文本對模型進行微調。
有趣的是,當研究人員嘗試微調時,GPT-3的性能實際上下降了。這似乎有違直覺,但是 Liang指出,這可能是由于用于訓練GPT-3的大量數據與可用于微調的少量領域特定訓練數據之間的大小不匹配。
多倫多大學計算機科學副教授 Frank Rudzicz 說,雖然研究小組確實取得了最先進的成果,但是依靠私人擁有的模型進行這種研究確實會帶來一些問題。
他說:“這些封閉的 API 之所以受到限制,部分原因在于我們無法檢查或深入修改這些模型的內部結構,也無法進行一系列更完整的實驗來幫助闡明我們需要避免或糾正的潛在錯誤來源。”
Liang對這種方法的局限性也持開放態度。他說,這個模型還遠遠不夠準確,不足以正確診斷阿爾茨海默氏癥,任何現實世界部署這種技術將作為一個初始篩選步驟,旨在引導人們到專家那里進行全面的醫療評估。與許多基于人工智能的方法一樣,當模型檢測到阿爾茨海默氏癥時,也很難確切地知道該模型檢測到了什么,這可能是醫務人員的一個問題。“醫生會很自然地問你為什么會得到這些結果,”梁說。“他們想知道什么特征是真正重要的。”
盡管如此,梁認為這種方法有很大的前景,他和他的同事們正計劃開發一個應用程序,可以在家里或醫生的辦公室使用,以簡化疾病的篩查。
相關報道:
https://spectrum.ieee.org/gpt-3-ai-chat-alzheimers
https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000168
本文來自微信公眾號“大數據文摘”(ID:BigDataDigest),36氪經授權發布。