阿里達(dá)摩院五年磨一劍，牽頭推出 AI 模型社區(qū)“魔搭”，開源 300+ 頂尖模型

CSDN

+ 關(guān)注

2022-11-03 18:04

668次閱讀

阿里達(dá)摩院五年磨一劍，牽頭推出 AI 模型社區(qū)“魔搭”，開源 300+ 頂尖模型

近十年間，開源對(duì) AI 的發(fā)展起到極大推動(dòng)作用，然而 AI 應(yīng)用始終是全行業(yè)的“阿喀琉斯之踵”。對(duì)于大多數(shù)工程師而言，AI 模型存在高使用門檻、部署難度大等難題，無(wú)法釋放 AI 應(yīng)用更多潛能。在不斷探索中，一種服務(wù) AI 開發(fā)者的新模式逐漸顯露，模型即服務(wù)（Model as a Service）因大幅簡(jiǎn)化模型應(yīng)用門檻備受歡迎。

這次，中國(guó)的AI 模型社區(qū)終于來(lái)了。

11 月 3 日，2022 云棲大會(huì)杭州現(xiàn)場(chǎng)，阿里達(dá)摩院聯(lián)手CCF開源發(fā)展委員會(huì)共同推出AI模型社區(qū)“魔搭”ModelScope，旨在打造下一代開源的模型即服務(wù)共享平臺(tái)，致力降低 AI 應(yīng)用門檻。首批合作機(jī)構(gòu)還包括瀾舟科技、智譜AI、深勢(shì)科技、哈工大訊飛聯(lián)合實(shí)驗(yàn)室、中國(guó)科學(xué)技術(shù)大學(xué)等。

阿里巴巴集團(tuán)資深副總裁、達(dá)摩院副院長(zhǎng)周靖人表示，AI 模型較為復(fù)雜，尤其是要應(yīng)用于行業(yè)場(chǎng)景，往往需要重新訓(xùn)練，這使得 AI 只掌握在少數(shù)算法人員手中，難以走向大眾化。而新推出的 ModelScope 魔搭社區(qū)提供眾多預(yù)訓(xùn)練基礎(chǔ)模型，只需針對(duì)具體場(chǎng)景再稍作調(diào)優(yōu)，就能快速投入使用。

據(jù)介紹，社區(qū)首批上架超 300 個(gè)模型，其中中文模型超過(guò) 100 個(gè)，覆蓋了視覺(jué)、語(yǔ)音、自然語(yǔ)言處理、多模態(tài)等 AI 主要領(lǐng)域，覆蓋主流任務(wù)超過(guò) 60 個(gè)。上架模型均經(jīng)過(guò)專家篩選和效果驗(yàn)證，包括150 多個(gè) SOTA 模型和十多個(gè)大模型，已開全面開源并開放使用，開發(fā)者可在平臺(tái)上免費(fèi)體驗(yàn)與下載使用。

AI 之前的使用大多以付費(fèi) API 提供，魔搭社區(qū)不僅提供了免費(fèi)的 API，而且提供的是可編程的 API 接口，輸出的不再是固定結(jié)果，而是結(jié)構(gòu)化的數(shù)據(jù)，以便開發(fā)者能二次開發(fā)。同時(shí)，社區(qū)提供的模型結(jié)合領(lǐng)域數(shù)據(jù)集，提供了二次開發(fā)的定制化能力，為模型在不同具體使用場(chǎng)景上使用提供了可能。

由于魔搭社區(qū)不僅提供開源模型，更提供開源之后的模型使用服務(wù)。從這個(gè)意義上說(shuō)，魔搭社區(qū)探索的是 AI 開源 2.0 新范式，在這種服務(wù)新范式下，為開發(fā)者使用 AI 模型帶來(lái)更多驚喜和便利。

打破 AI 應(yīng)用瓶頸，模型社區(qū)勢(shì)在必行

AI 產(chǎn)業(yè)化應(yīng)用面臨的瓶頸主要體現(xiàn)在以下兩點(diǎn)：一方面是現(xiàn)有 AI 技術(shù)的局限性，單一 AI 模型只能針對(duì)單一的任務(wù)場(chǎng)景，泛化性能較為有限，面臨新場(chǎng)景時(shí)需要重新訓(xùn)練，二次開發(fā)難度較高；另一方面是因?yàn)槟Ｐ陀?xùn)練、推理、安裝部署等配置復(fù)雜，使用門檻高。這使得 AI 只掌握在少數(shù)算法人員手中，難以走向大眾化。

作為業(yè)內(nèi)頂尖研究機(jī)構(gòu)，達(dá)摩院對(duì)此有切身體會(huì)。自 2017 年成立以來(lái)，達(dá)摩院在 AI 領(lǐng)域進(jìn)行大量研究和探索，產(chǎn)出了一批重要的 AI 模型，已經(jīng)用于城市大腦、工業(yè)視覺(jué)、電商翻譯、醫(yī)療AI、智能客服等諸多場(chǎng)景。

預(yù)訓(xùn)練模型的興起讓 AI 有了從手工作坊走向工業(yè)化大生產(chǎn)的機(jī)會(huì)。AI 模型通過(guò)上游統(tǒng)一的預(yù)訓(xùn)練后，面對(duì)下游各種任務(wù)場(chǎng)景后，只需要一些調(diào)優(yōu)（finetune）就能有較好效果，研究者不再需要反復(fù)造輪子。不過(guò)，預(yù)訓(xùn)練模型尤其是大模型的研發(fā)門檻高，算力資源消耗大，它成為了少數(shù)機(jī)構(gòu)的競(jìng)賽。

站在行業(yè)發(fā)展的角度看，這些模型的潛力仍然未得到充分發(fā)揮，AI 產(chǎn)業(yè)化的道路還充滿挑戰(zhàn)。達(dá)摩院意識(shí)到，只有進(jìn)一步推動(dòng) AI 開放，才能實(shí)現(xiàn) AI 普惠。達(dá)摩院不僅決定集中開源開放這五年來(lái)的重要 AI 成果，更不留余力打造 AI 模型社區(qū)。

構(gòu)建開放社區(qū)絕非易事。在技術(shù)層面，需要持續(xù)不斷地優(yōu)質(zhì)的模型供給，包括研發(fā)投入高的大模型；同時(shí)還提供易用的平臺(tái)用戶體驗(yàn)才能得到開發(fā)者的認(rèn)可。在社區(qū)共建上，還要打消高校、科研機(jī)構(gòu)、企業(yè)、個(gè)人等方面的疑慮，才能共同建設(shè)中文AI模型社區(qū)的新生態(tài)。

魔搭社區(qū)三大特色服務(wù)，普惠 AI 開發(fā)者

社區(qū)主要有三大優(yōu)勢(shì)：

1、提供豐富的中文模型，充分滿足本土化需求

語(yǔ)言是從感知智能邁向認(rèn)知智能的關(guān)鍵，理解中文，才能在中文世界的任務(wù)場(chǎng)景中取得更佳效果。現(xiàn)實(shí)情況卻是，中文為母語(yǔ)的 AI 開發(fā)者人數(shù)眾多，但世界上的中文 AI 模型數(shù)量稀少。

阿里達(dá)摩院五年磨一劍，牽頭推出 AI 模型社區(qū)“魔搭”，開源 300+ 頂尖模型

魔搭社區(qū)關(guān)注本土需求，第一批提供的中文 AI模型已超過(guò) 100 個(gè)，占比超過(guò)三分之一，覆蓋了自然語(yǔ)言處理、語(yǔ)音等常用的任務(wù)，實(shí)用性較高。同時(shí)，社區(qū)還涌現(xiàn)了一批探索人工智能前沿的中文大模型，如阿里通義大模型系列、瀾舟科技的孟子系列模型、智譜 AI 的中英雙語(yǔ)千億大模型、中文版 GPT-3、中文版 CLIP 等。社區(qū)鼓勵(lì)中文 AI 模型的開發(fā)和使用，希望實(shí)現(xiàn)中文 AI 模型的豐富供給。

2、零代碼上手+強(qiáng)算力加持，帶來(lái)絕佳用戶體驗(yàn)

對(duì)于模型使用者，從代碼下載到安裝部署再到效果驗(yàn)證，以前往往需要數(shù)天，現(xiàn)在只要幾個(gè)小時(shí)甚至幾分鐘。通過(guò)全新開發(fā)的調(diào)用接口和統(tǒng)一的配置文件，平臺(tái)提供模型探索、環(huán)境安裝、推理驗(yàn)證、訓(xùn)練調(diào)優(yōu)等一站式服務(wù)，0 代碼在線體驗(yàn)?zāi)Ｐ托Ч? 行代碼實(shí)現(xiàn)模型推理，10行代碼實(shí)現(xiàn)模型定制；在線開發(fā)，開箱即用，無(wú)需任何安裝部署。

對(duì)于模型開發(fā)者，平臺(tái)提供模型管理、數(shù)據(jù)集管理、多人協(xié)同、創(chuàng)意工坊、社區(qū)互動(dòng)等功能，讓開發(fā)者可以輕松實(shí)現(xiàn)創(chuàng)新想法，并獲得用戶反饋，持續(xù)改進(jìn)模型，最終收獲影響力。

此外，魔搭社區(qū)基于云的算力支撐和技術(shù)支撐，提供了更佳的用戶體驗(yàn)，讓上層的 AI 模型開發(fā)和使用更簡(jiǎn)單。

3、開放兼容，普及 AI 模型應(yīng)用

不同于一般企業(yè)舉辦的社區(qū)，魔搭社區(qū)更強(qiáng)調(diào)其中立性，更開放，模型更豐富，兼容 TensorFlow、PyTorch、Caffe 等多種主流深度學(xué)習(xí)框架，模型遷移便捷簡(jiǎn)單，用戶可自主選擇訓(xùn)練和部署方式，提供更多自主可控的選擇。社區(qū)旨在推動(dòng) AI 的大規(guī)模使用，不以盈利為目標(biāo)，惠及所有開發(fā)者，參與者不限機(jī)構(gòu)、不限類型。

據(jù)介紹，已有數(shù)千名開發(fā)者參與魔搭的前期測(cè)試，他們利用社區(qū)的 AI 能力搭建了射擊游戲神槍手、簡(jiǎn)歷分析、一鍵動(dòng)畫片制作等小應(yīng)用。有參與測(cè)試的在校學(xué)生表示，魔搭最好的一點(diǎn)是這里只需一行代碼即可調(diào)用，且調(diào)用過(guò)程十分簡(jiǎn)單快捷，即使是對(duì)于模型了解較少的開發(fā)人員也能快速上手。也有動(dòng)畫建模師稱，魔搭中的 2D 關(guān)鍵點(diǎn)模型，很好地適配動(dòng)捕的工作，卡通化模型可以輕松構(gòu)建卡通形象，減少了工作量。

開發(fā)者體驗(yàn)社區(qū)的模型，能獲得免費(fèi)的 CPU算力和 GPU 算力的福利。其中CPU算力（8核32G）不限額度，GPU算力（NVIDIA-V100-16G32G）限額16個(gè)小時(shí)。開發(fā)者可以參與社區(qū)貢獻(xiàn)，獲得更多免費(fèi)算力額度。

AI開源的未來(lái)

中國(guó)科學(xué)院院士、中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）開源發(fā)展委員會(huì)主任王懷民期待，開源是AI發(fā)展的重要驅(qū)動(dòng)力，魔搭社區(qū)作為新型的 AI 開源社區(qū)，不僅將有力推動(dòng)AI邁向廣泛的落地應(yīng)用，還將助力中國(guó)從開源世界的參與者逐步成長(zhǎng)為引領(lǐng)者。

中國(guó)計(jì)算機(jī)學(xué)會(huì)副理事長(zhǎng)、瀾舟科技創(chuàng)始人兼 CEO 周明博士認(rèn)為，從依賴算法專家手工調(diào)參的手工作坊時(shí)代，走向大規(guī)模、可復(fù)制的大工業(yè)時(shí)代，AI 模型社區(qū)是其中的關(guān)鍵一環(huán)，堪稱 AI 時(shí)代的基礎(chǔ)設(shè)施，能將預(yù)訓(xùn)練模型以較低門檻提供給廣大開發(fā)者，讓 AI 惠及全社會(huì)。

而達(dá)摩院希望，魔搭社區(qū) ModelScope 能成為中國(guó) AI 開發(fā)者和使用者的公共平臺(tái)，甚至全世界的一個(gè) AI 開放平臺(tái)，能夠滿足 AI 開發(fā)者和應(yīng)用者的多層次、多樣化的需求，促進(jìn)AI產(chǎn)業(yè)的共同繁榮。