百度“飛槳”是怎么成為世界第三的？
國(guó)內(nèi)人工智能產(chǎn)業(yè)市場(chǎng)在2021年開始迎來了大爆發(fā)。
無論是蘿卜快跑的自動(dòng)駕駛出租車，還是智能識(shí)圖、語音識(shí)別與輸入、影音剪輯等方面，層出不窮的人工智能技術(shù)極大的提升了人們生活的便利性和科技感。
龐大的市場(chǎng)需求也助力了很多沖擊資本市場(chǎng)的大型科技企業(yè)。AI四小龍里商湯上市和剩余幾家紛紛沖擊IPO就是一個(gè)重要的佐證。
2021年人工智能領(lǐng)域的算法分析師、程序員、工程師，已經(jīng)成為最新互聯(lián)網(wǎng)就業(yè)市場(chǎng)上搶手的香餑餑。尤其是人工智能規(guī)劃和算法的精通者，在其中占有更大的優(yōu)勢(shì)。
更有意思的是，曾幾何時(shí)幾乎全部做人工智能開發(fā)的程序員、工程師和算法分析師，用的深度學(xué)習(xí)框架都來自美國(guó)。TensorFlow、PyTorch雖然是開源項(xiàng)目，但都在美國(guó)公司掌控之下，不確定性如影隨形 。
迫切需要替代品的背景下，已經(jīng)歷經(jīng)6年開發(fā)并逐漸成熟的百度飛槳，成為越來越多中國(guó)人工智能開發(fā)工程師和算法分析師的優(yōu)選。
百度也借此舉辦了多期人工智能規(guī)劃師的培訓(xùn)，試圖利用自己的經(jīng)驗(yàn)為中國(guó)人工智能領(lǐng)域提供高水平的人才儲(chǔ)備。
伴隨著應(yīng)用飛槳項(xiàng)目和產(chǎn)業(yè)端結(jié)合的越來越頻繁緊密，截至目前，飛槳所擁有的工業(yè)產(chǎn)業(yè)模型超過300個(gè)，已逐漸成為一個(gè)非常易于開發(fā)的通用性人工智能深度學(xué)習(xí)平臺(tái)。
最新信息，在2021年年底，飛槳已經(jīng)超越其他競(jìng)爭(zhēng)對(duì)手，穩(wěn)居兩個(gè)老牌深度學(xué)習(xí)框架之后，成為全球第三大深度學(xué)習(xí)框架平臺(tái)。
#01
深度學(xué)習(xí)平臺(tái)的能力
因此2015年之前，世界人工智能領(lǐng)域的項(xiàng)目進(jìn)度比較慢。畢竟熟練的工程師和程序員就這些，后續(xù)的人員，想進(jìn)入這個(gè)領(lǐng)域還需要進(jìn)行長(zhǎng)時(shí)間的學(xué)習(xí)。
這為深度學(xué)習(xí)框架的出現(xiàn)提供了強(qiáng)大的需求和促動(dòng)力。
當(dāng)時(shí)，美國(guó)谷歌公司和另一個(gè)從谷歌出來的資深程序員，提出了兩個(gè)深度學(xué)習(xí)的開發(fā)平臺(tái)與框架。這就是當(dāng)前使用人數(shù)最多的ensorFlow和PyTorch。
人工智能最早的應(yīng)用其實(shí)是在數(shù)據(jù)標(biāo)注，也就是窮舉的方式列舉所有遇到問題時(shí)機(jī)器應(yīng)該產(chǎn)生的反應(yīng)，但這并不是真正的人工智能或者說應(yīng)該算偽人工智能。從谷歌2016年推出超級(jí)人工智能阿爾法狗之后，深度學(xué)習(xí)成為很多人工智能公司追求的系統(tǒng)技術(shù)基礎(chǔ)。而阿爾法狗的底層框架，正是建立在TensorFlow的平臺(tái)之上。
很快，TensorFlow、PyTorch這兩個(gè)新生的深度學(xué)習(xí)開發(fā)平臺(tái)框架迅速在業(yè)內(nèi)走紅，成為后續(xù)各個(gè)創(chuàng)業(yè)項(xiàng)目技術(shù)積累的基礎(chǔ)。
所謂深度學(xué)習(xí)框架，其實(shí)就是首先提供一個(gè)深度學(xué)習(xí)的內(nèi)部系統(tǒng)，可以符合多種行業(yè)的應(yīng)用能通過各種不同的接口調(diào)取這種學(xué)習(xí)能力，從而讓新開發(fā)的項(xiàng)目迅速通過數(shù)據(jù)的積累訓(xùn)練系統(tǒng)，學(xué)會(huì)如何人工思考和應(yīng)對(duì)。這樣的好處就是整個(gè)項(xiàng)目不用再對(duì)深度學(xué)習(xí)進(jìn)行算法和布局，更不用從理論基礎(chǔ)去做相應(yīng)的研發(fā)，可以大大降低人工智能項(xiàng)目研發(fā)的難度。
其次，這些深度學(xué)習(xí)框架還提供了調(diào)取相應(yīng)深度學(xué)習(xí)結(jié)果和培訓(xùn)系統(tǒng)能力的程序語言，并封裝了很多常用的模塊，后續(xù)開發(fā)者只需調(diào)用這些模塊就可以實(shí)現(xiàn)一些系統(tǒng)常用的功能，比如說對(duì)于圖片和音頻的識(shí)別等。
此外，這些深度學(xué)習(xí)框架還提供額外的擴(kuò)展與延伸，可以跟其他的一些系統(tǒng)相銜接，把人工智能的相應(yīng)能力接觸到更大的系統(tǒng)中去。
從2017年之后，國(guó)內(nèi)大大小小的人工智能應(yīng)用，絕大多數(shù)都是基于這兩個(gè)框架平臺(tái)所提供的各種服務(wù)和封裝模塊進(jìn)行，雖然大大降低了開發(fā)人員的難度，但很大程度上也將技術(shù)核心的支持能力拱手相讓。
正是看到這一點(diǎn)，2016年百度提出來中國(guó)人自己的深度學(xué)習(xí)框架PaddlePaddle。但說實(shí)話彼時(shí)百度的這一框架并沒有顯露出太多技術(shù)優(yōu)勢(shì)，在國(guó)內(nèi)被使用的頻次也不算太高。
即便如此，對(duì)于百度一把手李彥宏而言，AI是百度未來發(fā)展的突破口，所以深度學(xué)習(xí)框架這塊也必須得到百度整個(gè)技術(shù)部門的大力扶持。
2018 年 7 月，李彥宏在百度 AI 開發(fā)者大會(huì)上喊出了要讓“Everyone Can AI”的口號(hào)，其實(shí)這句口號(hào)后面還要加上一個(gè)限定——“通過百度的 AI 平臺(tái)”。PaddlePaddle 就是這一口號(hào)付諸實(shí)踐的突破點(diǎn)之一。
#02
飛槳的特色
實(shí)際上，飛槳以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是中國(guó)首個(gè)自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)。
關(guān)鍵從2015年之后，百度將自己業(yè)務(wù)突破的能力定立到了人工智能上，而幾乎百度現(xiàn)在所有的人工智能項(xiàng)目全都是基于飛槳的整個(gè)體系研發(fā)，并最終投入使用和做后期維護(hù)的。
某種意義上正是基于百度本身體量的大范圍應(yīng)用，才迅速縮短了飛槳的成熟時(shí)間。
作為我國(guó)首個(gè)開源開放、功能完備的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，飛槳想要保持自己的地位，也必須要有自己獨(dú)特的優(yōu)勢(shì)。
第一，便捷的開發(fā)框架。飛槳同時(shí)支持動(dòng)態(tài)圖和靜態(tài)圖的編程，能夠兼顧易用性和效率。在整個(gè)開發(fā)過程當(dāng)中，算法工程師既需要方便的接口，同時(shí)也需要高效的底層平臺(tái)的支持。飛槳平臺(tái)結(jié)合了動(dòng)態(tài)圖的易用性和靜態(tài)圖的高性能，使開發(fā)者可以兼顧兩者的優(yōu)勢(shì)。對(duì)開發(fā)者來說，這是大大降低了寫程序的成本和復(fù)雜度。
第二，超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)。針對(duì)大規(guī)模的工業(yè)化場(chǎng)景，飛槳提供大規(guī)模分布式訓(xùn)練能力，在真正的工業(yè)場(chǎng)景應(yīng)對(duì)自如。飛槳平臺(tái)推出了支持萬億規(guī)模參數(shù)模型的實(shí)時(shí)更新能力和訓(xùn)練能力。面對(duì)大型分類任務(wù)時(shí)可以進(jìn)行模型并行訓(xùn)練，在訓(xùn)練層面也可以支持?jǐn)?shù)據(jù)并行訓(xùn)練。
第三，多端多平臺(tái)部署的高性能推理引擎。端到端的部署是應(yīng)用深度學(xué)習(xí)的一個(gè)非常關(guān)鍵的環(huán)節(jié)，飛槳提供非常完備的支持各種硬件的端到端的部署能力，能夠使得開發(fā)者推理、預(yù)測(cè)的過程足夠順暢。在移動(dòng)端部署的模型體積上，飛槳可以縮減到非常小，眾多開發(fā)者可以更好地把模型用在相應(yīng)場(chǎng)景的終端設(shè)備上。
第四，產(chǎn)業(yè)級(jí)開源模型庫。飛槳有大量在產(chǎn)業(yè)實(shí)踐當(dāng)中沉淀出來的模型，并提供官方的支持，能夠保證開發(fā)者的應(yīng)用效果是最佳的、真正可靠的。據(jù)悉，飛槳平臺(tái)上目前開源了140+的模型，而且還有工業(yè)級(jí)的預(yù)訓(xùn)練模型。在預(yù)訓(xùn)練模型基礎(chǔ)上，開發(fā)者在使用時(shí)只要針對(duì)自己的場(chǎng)景進(jìn)行小數(shù)據(jù)量的遷移學(xué)習(xí)就可以使用。
#03
需求決定一切
以上這些特性，實(shí)際上只是跟海外的開源平臺(tái)打成個(gè)平手。真正能讓飛槳成為殺手級(jí)人工智能深度學(xué)習(xí)拓展平臺(tái)的原因，是其跟中國(guó)市場(chǎng)的深度捆綁。
由于百度所有的技術(shù)扎根于中國(guó)市場(chǎng)本土需求，相應(yīng)的算法標(biāo)準(zhǔn)，基礎(chǔ)能力、深度學(xué)習(xí)的習(xí)慣等等，都跟中國(guó)市場(chǎng)和相應(yīng)數(shù)據(jù)采集的情況相吻合。
如果采用國(guó)際上知名的其他開源平臺(tái)來研發(fā)項(xiàng)目，在最終項(xiàng)目調(diào)整的過程中，還要付出很大的精力，要將很多不符合國(guó)內(nèi)環(huán)境的算法和思路進(jìn)行調(diào)整，這對(duì)于人工智能的策劃師和算法分析師來說都是一個(gè)重大的挑戰(zhàn)。
但使用飛槳就不用做這些事，可以省很大的工作量。
從2019年開始，百度AI的能力逐漸下沉，開始跟產(chǎn)業(yè)經(jīng)濟(jì)和生產(chǎn)一線相結(jié)合，在飛槳上也越來越多有類似的人工智能項(xiàng)目運(yùn)行，比如智能質(zhì)檢，比如對(duì)于農(nóng)產(chǎn)品的智能分揀等等。
這些與產(chǎn)業(yè)相結(jié)合的人工智能應(yīng)用模型，飛槳已經(jīng)積累了超過1000個(gè)。由于這些模型最終都成功運(yùn)營(yíng)，所以類似需求的開發(fā)者只要將這些模型針對(duì)自己的一些特征進(jìn)行修改調(diào)試，就可以在短時(shí)間內(nèi)拿出一個(gè)成型的人工智能解決方案和項(xiàng)目實(shí)施計(jì)劃。
再加上百度本身所推出的人工智能應(yīng)用，就已經(jīng)覆蓋了中國(guó)互聯(lián)網(wǎng)的大多數(shù)使用空間。豐富的人工智能基礎(chǔ)模塊，可以讓程序員和工程師快速部署形成自己的人工智能軟件應(yīng)用。
這大大方便了人工智能項(xiàng)目在中國(guó)產(chǎn)業(yè)端的拓展，也成為飛槳迅速在中國(guó)人工智能研發(fā)領(lǐng)域成為主流平臺(tái)的重要原因。
截止目前在飛槳平臺(tái)上，經(jīng)常使用相應(yīng)模塊進(jìn)行人工智能開發(fā)的程序員和工程師超過400萬。
#04
擺在前面的挑戰(zhàn)
當(dāng)然，飛槳并不是不是一個(gè)完美的框架和平臺(tái)。知乎上在飛槳專區(qū)有很多程序員吐槽，大多是有關(guān)應(yīng)用端以開發(fā)的過程中，調(diào)取模塊遇到的各種bug問題。
而由于整套系統(tǒng)的邏輯都是百度自己建立的，并沒有前面的經(jīng)驗(yàn)可以遵循，這也讓很多新的模塊出來，需要帶有一段時(shí)間的糾錯(cuò)期。這對(duì)爭(zhēng)分奪秒的人工智能開發(fā)領(lǐng)域來說，是一種時(shí)間上的浪費(fèi)。
因此有程序員提出，能不能作為開源程序員加入其中，為飛槳目前的不斷完善，提供自己的思路和幫助。
另外，由于百度發(fā)展的局限性，使得飛槳在海外的應(yīng)用受限。如何將飛槳推到國(guó)際市場(chǎng)，恐怕是百度在2022年一定要認(rèn)真考慮的重要問題。
畢竟，百度是將AI作為未來發(fā)展的基石，而飛槳被看作是百度AI的核心，那么李彥宏對(duì)于百度轉(zhuǎn)型的定位，在國(guó)內(nèi)和國(guó)際都需要飛槳為支撐的AI故事。
百度也已經(jīng)認(rèn)識(shí)到這一點(diǎn)，2021年開始舉辦人工智能規(guī)劃師的培訓(xùn)，并開始逐漸國(guó)際化發(fā)展，目的很明確。
但一切還需要時(shí)間，而現(xiàn)在已經(jīng)到了百米賽跑的關(guān)鍵沖刺期。
雖然百度有底氣，但時(shí)間上得要抓緊了。
本文來自微信公眾號(hào)“數(shù)科社”（ID：gh_a04771c227f9），36氪經(jīng)授權(quán)發(fā)布。
