AI大模型背后，竟是驚人的碳排放

科技云報道

+ 關注

2023-03-06 12:10

1202次閱讀

自從ChatGPT這樣的大型語言模型在全球引起轟動以來，很少有人注意到，訓練和運行大型語言模型正在產生驚人的碳排放量。

雖然OpenAI和谷歌都沒有說過他們各自產品的計算成本是多少，但據第三方研究人員分析，ChatGPT部分訓練消耗了1287兆瓦時，并導致了超過550噸的二氧化碳排放量，這相當于一個人在紐約和舊金山之間往返550次。

事實上，這只是訓練時的排放量，當AI大模型運行時還將排出更多的二氧化碳。

加拿大數據中心公司QScale聯合創始人Martin Bouchard認為，微軟和谷歌為了滿足搜索引擎用戶日益增長的需求，在搜索中加入ChatGPT這類生成式AI，會導致每次搜索至少增加4到5倍的計算量。

如果還要經常重新訓練模型，并添加更多的參數，計算量的規模就完全不同了。

根據國際能源署（International Energy Agency）的數據，數據中心的溫室氣體排放量已經占到全球溫室氣體排放量的1%左右。

隨著AI大模型和對云計算需求的增長，這一數字預計還會上升。

AI大模型，正在成為碳排放的一個重要來源。

降低AI大模型的碳排放

AI模型的訓練和運營過程需要消耗大量能源，但關鍵問題是，如何知道及測算單個機器學習實驗正在產生多少溫室氣體排放，以及可以減少多少？

目前數據科學家們仍無法簡單可靠地獲取該領域的測量結果，這也妨礙著進一步制定可行的應對策略。

針對這一問題，谷歌發表了一項研究，詳細介紹了最先進的語言模型的能源成本，包括早期和更大版本的LaMDA。

研究結果表明，將高效的模型、處理器和數據中心與清潔能源相結合，可以將機器學習系統的碳足跡減少1000倍。

該團隊提出了四種基本方法，可顯著減少機器學習工作負載的碳（和能源）足跡，這些方法目前在Google中使用，任何使用Google Cloud服務的人都可以使用。

Google能源和碳足跡減少最佳實踐（4Ms）如下：

模型：研究人員表示，選擇高效的ML模型架構至關重要，因為它有可能提高ML質量，同時將計算時間縮短一半。
機器：與通用處理器相比，使用專門用于ML訓練的處理器和系統可以將性能和能效提高2倍至5倍。
機械化：大多數情況下，本地數據中心更老、更小。因此，新的節能冷卻和配電系統的費用無法攤銷。

基于云的數據中心是全新的、定制設計的倉庫，具有可容納50000臺服務器的能效特性。它們提供異常高效的電源利用率 (PUE)。

因此，在云端而不是在本地進行計算，可以節省1.4-2倍的能源并減少污染。

優化：云允許客戶選擇具有最清潔能源的區域，從而將總碳足跡減少5到10倍。

基于4Ms改進的模型、特定于機器學習的硬件和高效的數據中心，大大抵消了這種負載增加。

谷歌的數據表明，機器學習訓練和推理在過去三年中僅占谷歌整體能源使用量的10%至15%，其中每年有35%用于推理，25%用于訓練。

為了找到改進的機器學習模型，谷歌采用了神經架構搜索 (NAS)。

每個問題域/搜索空間組合通常只執行一次NAS，然后可以將生成的模型重復用于數百個應用程序，NAS的一次性成本通常被持續使用的減排量所抵消。

研究人員進行了一項研究來訓練Transformer模型。

為此，他們在典型的數據中心中使用了Nvidia P100 GPU，其能源組合與全球平均水平相似，而使用TPUv4等新一代ML硬件，性能比P100提升了14倍。

同時，高效的云數據中心比普通數據中心節省1.4倍的能源，從而使總能耗降低83倍。

此外，由低碳能源驅動的數據中心可以將碳排放量再減少9倍，從而在四年內總共減少747倍。

谷歌團隊認為，在信息技術領域，制造各種類型和規模的計算設備的生命周期成本，比機器學習的運營成本要高得多。

排放估算的制造成本包括制造所有相關組件（從芯片到數據中心建筑）所排放的嵌入碳。

當然，除了使用4Ms方法，服務提供商和用戶還可以采取簡單的措施來提高他們的碳足跡績效，

例如：

客戶應通過讓數據中心提供商報告數據中心效率和每個位置的能源供應清潔度，來分析和減少他們的能源使用和碳足跡。

工程師應該在最環保的數據中心中最快的處理器上訓練模型，這些數據中心越來越多地在云上。

機器學習的研究人員應該專注于設計更有效的模型，如：利用稀疏性或包括檢索來減少模型。

此外，他們應該報告他們的能源消耗和碳影響。這不僅會鼓勵超越模型質量的競爭，而且還可以確保對他們的工作進行正確的核算。

AI助力降低碳排放

盡管AI大模型是碳排放大戶，但以AI為代表的前沿科技也正在為降碳減排做出貢獻。

百度與咨詢機構IDC（International Data Corporation）聯合進行的研究顯示：與AI相關的技術減碳貢獻占比會逐年提升，到2060年將至少達到70%，減碳總量預計超過350億噸。

以交通行業為例，2020年中國交通行業的碳排放估測量為10.4億噸，占全國總體排放的9%。

而在驅動交通行業降碳減排過程中，使用以智能信控為主的緩堵型智能交通技術，可以有效提升城市主要道路交叉口的通行效率，千萬級人口城市因此每年可至少減碳4.16萬噸——這相當于1.4萬輛私家車行駛一年的碳排量。

從目前的實踐來看，理解和實現減排的關鍵是對減排的效果進行預測和監控，而AI在節能減排中具有預測排放、監測排放、減少排放三個關鍵應用。

據《碳中和產業發展白皮書》顯示，在預測排放方面，AI 能夠根據當前減排工作和需求，預測未來的碳排放量，同時為碳排放定下排放量指引。

在監測排放方面，AI 能實時跟蹤碳足跡數據，從采購、生產、銷售、運維、物流等全環節收集數據，提升監測準確性。

在減少排放方面，AI 收集各環節數據后，能夠以全局視角對各環節工作流程做出優化調整。

事實上，在AI助力碳減排方面，目前國內多個領域已有應用。

在新能源領域，突出問題在于其具有波動性、隨機性、間歇性特點。

通過AI技術結合仿真計算，對風光電的不穩定情況做場景預測，如：結合風速、風向、光照強度等自然氣象特征對未來的發電量進行合理的預測，向電網輸出更精準的發電計劃，將新能源的不確定性、不穩定屏蔽在技術層之下。

再比如，水務集團的管轄范圍包括原水、制水、供水、排水、污水、節水等。

以居民供水為例，水壓過大，所需能耗大，管網漏損率高，可能會引起爆管事件；而水壓過小，可能會造成居民用水不便。

為了解決這一問題，水務集團在地下部署硬件傳感器監測水壓、建設水務大腦，在保證安全、穩定供水的前提下，通過AI技術可以實現智能化調壓控制、能耗優化。

不僅如此，AI降碳技術也應用在電廠、園區、數據中心等能源消耗較高的業務場景中，對其生產用電需求進行精確預測和控制，進行耗電設備、碳足跡的優化。

結語

AI技術的進步給人類帶來了諸多便利，但也必須在發展中關注環境問題。

未來AI如何實現可持續發展，以及AI如何更好地支撐雙碳領域的變革，仍是亟需各行業共同解決的問題。

本文來自微信公眾號“科技云報到”（ID:ITCloud-BD），作者：科技云報道，36氪經授權發布。

科技云報道

SUSE Linux Enterprise Server

3.3

40條點評

咨詢產品

免費試用

一種適應性強且易管理的平臺，允許開發人員和管理員在本地、云端和邊緣部署任務關鍵型工作負載。

亞馬遜-云計算

2.8

21條點評

咨詢產品

免費試用

旗下包括Amazon EC2等云計算產品，為提供IT基礎設施服務，服務企業各類業務需求。

客戶案例

合作品牌

金山云

2.2

5條點評

咨詢產品

免費試用

知名獨立云服務商

客戶案例

暫無

合作品牌

云站中國

3條點評

咨詢產品

免費試用

為平臺商和大型企業提供云計算解決方案。

客戶案例

暫無

合作品牌

星環科技

2條點評

咨詢產品

免費試用

致力于打造“云計算+大數據+數據庫+數據開發與智能分析”的基礎平臺產品，構建明日數據世界。

客戶案例

合作品牌

相關產品

查看更多同類產品

国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费

AI大模型背后，竟是驚人的碳排放

項目管理SaaS為什么很難一家獨大？答案藏在中小企業的痛點里

2025進銷存ERP哪個好用？高性價比選型指南，助力企業高效管理

訂單處理效率低？2025電商ERP自動化提效指南，破解多渠道運營難題

電商稅算不清、多平臺對賬亂？吉客云ERP系統一鍵搞定合規核算，2025新規適配無壓力

電商稅怎么合規？吉客云多平臺數據整合，對賬算稅不費勁