超級AI會殺人，被吵翻了！

12月ChatGPT、3月GPT-4，OpenAI連番轟炸，讓業界人士紛紛恐慌。

緊接著3月底，由馬斯克、圖靈獎得主Bengio等千名大佬聯名，發起暫停超級AI研發的公開信。

2個月后，又有數百位大佬簽署了一封聯名信，短短22字把AI類比為了傳染病和核戰爭。

關于發起這封聯名信的機構，是美國的一家人工智能安全中心（Center for AI Safety）。

近來，來自這個組織的研究人員，就災難性AI風險做了一個總結性回顧。

論文地址：https://arxiv.org/pdf/2306.12001.pdf

論文中，作者介紹了災難性人工智能風險的四個主要來源：

- 惡意使用

- 人工智能競賽

- 組織風險

- 流氓人工智能

與此同時，研究人員還討論了這些風險可能采取的具體形式，并就如何減輕這些風險提供了實際的建議。

馬庫斯點評道，滅絕風險不等同于災難性風險；這是一篇好文章，主要是關于后者。

接下來一起看看吧。

惡意使用

個人和組織可以利用人工智能造成廣泛的傷害。威脅包括宣傳、審查、監視和生物恐怖主義。

當前，人工智能技術的快速發展增加了生物恐怖主義的風險。

擁有生物工程知識的AI可以促進新型生物武器的創造，并降低獲得這些致命武器的障礙。

AI輔助生物武器設計的流行病構成了獨特的挑戰，因為攻擊者比防御者具有優勢，并可能對人類構成生存威脅。

2022年3月，研究人員曾發現，人工智能在短短6個小時內發明了4萬種可能的新型化學武器。

如果AI能夠大規模生產這類化學武器，又不受管控，那無疑是全人類的災難，所以研究人員立刻報告了技術濫用的潛在風險。

另外，AI智能體不斷涌現也是一大風險。當前，AI智能體的發展已經構成獨特的威脅，人們可能構建目標危險的人工智能。

GPT-4發布一個月后，開發人員紛紛繞過人工智能安全過濾器，創造了自主的AI智能體，比如爆火的AutoGPT。

甚至，還有旨在摧毀人類、建立全球統治地位，以及獲得永生的ChaosGPT。

幸運地是，ChaosGPT并不十分聰明，缺乏制定長期計劃、入侵計算機、生存和傳播的能力。

然而，考慮到人工智能發展的快速步伐，ChaosGPT的確讓許多人看到了更先進的流氓人工智能在不久的將來可能帶來的風險。

社會故意散布虛假信息已經是一個嚴重的問題，削弱了我們對現實的共同理解和兩極分化的觀點。

人工智能可能被用來產生比以前更大規模的個性化虛假信息，從而嚴重加劇這個問題。

此外，隨著人工智能更善于預測和推動我們的行為，它們將更有能力操縱我們。

對于人工智能惡意使用，研究者建議限制獲得危險的AI，優先考慮生物安全，并為開發者建立法律責任。

人工智能競賽

人工智能的巨大潛力在全球競爭者中造成了競爭壓力，他們相互競爭，以爭奪權力和影響力。

這種「人工智能競賽」是由國家和公司驅動的。他們認為必須迅速建立和部署人工智能以確保自己的地位和生存。

通過競相打造和部署人工智能，企業和軍隊可能會在安全方面偷工減料，并將決策權讓給人工智能，以追求競爭優勢。

由于未能正確地區分全球風險的輕重緩急，這種動態使得人工智能的發展更有可能產生危險的后果。

重要的是，這些風險不僅源于人工智能技術的內在本質，而且源于競爭壓力。

研究者建議對通用的人工智能進行安全監管、國際協調和公共控制。

組織風險

這就像切爾諾貝利和三里島一樣，糟糕的組織安全可能導致災難性的人工智能事故。為了減少這些風險，建立人工智能的組織應該采用外部審計、軍事級別的信息安全和強大的安全文化。

即使在競爭壓力較低的情況下，災難也會發生。

即使在沒有競爭壓力或惡意行為者的情況下，諸如人為錯誤或不可預見的環境等因素仍然可能導致災難。

「挑戰者號」航天飛機災難表明，組織疏忽可能導致生命損失，即使在沒有迫切需要競爭或勝過競爭對手的情況下。

到1986年1月，美國外國之間的太空競賽已大大減少，但由于判斷失誤和安全防范措施不足，悲劇事件仍然發生。

流氓人工智能

控制人工智能已經很困難了。失去對高級人工智能的控制可能導致災難。

最后，人工智能帶來的一個獨特的風險是流氓人工智能的可能性——這些系統追求的目標違背了我們的利益。

如果一個人工智能系統比我們更聰明，如果我們不能引導它朝有利的方向發展，失去控制，可能會產生嚴重的后果。

本文中提到的4大人工智能危險值得嚴重關注。

目前，很少有人致力于降低人工智能的風險。研究人員也不知道如何控制高度先進的人工智能系統，現有的控制方法已經被證明是不夠的。

人工智能的內部工作原理還不是很清楚，即使是那些創造它們的人也不清楚，而且目前的人工智能絕不是高度可靠的。

隨著人工智能能力繼續以前所未有的速度增長，它們可能很快在幾乎所有方面超越人類智能，從而迫切需要管理潛在的風險。

因為未來有很多不確定性，所以考慮關于不同事件的概率的各種意見可能是有用的，這些事件最終可能因流氓AI而導致人類的災難。請考慮以下4種說法：

1. 假設我們的社會沒有結構性和相關的監管變化，在10年內，我們將知道如何以一個中型公司負擔得起的成本建立一個超越人類的AI系統。

2. 假設我們的社會沒有結構性和相關的監管變化，而且A是真的，地球上有人會故意指示這樣的人工智能去實現一些東西，如果人工智能成功實現其目標，后果將是災難性的。

3. 假設我們的社會沒有結構性和相關的監管變化，而且A是真實的。

地球上有人會無意中訓練或給這樣的人工智能下達指令，意外地使其自主（例如，有強烈的自我保護目標或發展自己的子目標，如果實現這些目標可能產生災難性的結果）。

4. 假設我們的社會沒有結構性和相關的監管變化，即使A發生，然后B或C發生。

我們將能夠利用現有的防御措施保護自己免受災難（例如，我們目前的法律、警察、軍隊和網絡防御將阻止一個超人的AI造成破壞）。

Dan Hendrycks

Dan Hendrycks在加州大學伯克利分校獲得了博士學位，導師是Dawn Song和Jacob Steinhardt。

他曾在芝加哥大學獲得了學士學位。目前，他是Center for AI Safety的主任。

Mantas Mazeika

目前，Mantas Mazeika是伊利諾伊大學厄巴納-香檳分校（UIUC）的博士生。他曾在芝加哥大學獲得學士學位。

Thomas Woodside

Thomas Woodside在耶魯大學學習期間在人工智能安全中心兼職，并對機器學習安全和人工智能治理感興趣。

參考資料：

https://twitter.com/DanHendrycks/status/1671894767331061763

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，編輯：桃子，36氪經授權發布。