国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费

“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保

物聯網智庫
+ 關注
2022-10-10 18:59
474次閱讀
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保

物聯網智庫 整理發布

導讀

今年來，隨著算力的不斷增加和深度學習等技術的進步，AI在內容生產領域的應用已經不僅僅局限于圖片和文字。最近，內容生成AI可以說正式進入視頻時代，未來用描述性的文字直接生成腦海中的畫面將不再困難，人人都將能夠制作出電影級別的長短視頻。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
當看到下面這個“馬兒低頭喝水”的畫面時，相信每個人都會認為這是對一段事先拍攝好的視頻加上了動漫化的濾鏡，但真實的情況卻是，這個視頻里的每一個像素全都是由AI來生成的，僅僅是對AI模型輸入了一句簡單“馬兒喝水”。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
據了解，該AI模型名為“Make-A-Video”，是由Meta AI的研究人員開發出來的，任意給模型輸入幾個單詞或幾行文字，就能生成符合語義的但在現實中卻并不存在的視頻畫面，而且風格還可以多元化。
例如，將一些英文短句輸入模型之后，生成的視頻也都讓人嘆為觀止：
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
不得不說，現在人工智能的發展真的是日新月異，每隔一段時間就會給人不同的驚喜。

從圖像到視頻，生成模型功不可沒

 

最近幾年，人工智能在視覺領域的發展可謂是“神速”。去年1月，致力于“用通用人工智能造福全人類”的OpenAI公司基于GPT-3模型發布了劃時代的 DALL·E，實現了從文本生成圖像。
今年4月份，OpenAI發布的第二代DALL·E 2模型，再次為圖像生成領域樹立了全新標桿，可以通過簡短的文本描述（prompt）來生成相應的圖像，使得不會畫畫的人也可以將自己的想象力變為藝術創作，例如“羊駝打籃球”這句話生成的四張圖片看起來就非常符合大家預期的想象。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
不僅如此，隨著文字描述的顆粒度不斷細化，生成的圖像也會越來越精準，效果在非專業人士看來已經相當震撼。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
但DALL-E 2這樣的模型仍然停留在二維創作即圖片生成領域，無法生成360度無死角的3D模型。但這依舊難不住極具創意的算法研究員，Google Research的一項最新成果——DreamFusion模型，即可通過輸入簡單的文本提示生成3D模型，不僅能夠在不同的光照條件下進行渲染，而且生成的3D模型還具有密度、顏色等特性，甚至可以把生成的多個3D模型融合到一個場景里。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
在生成3D圖片之后，Meta的算法人員將思路進一步打開，向更高難度發起挑戰，開始探索用文字提示來直接生成視頻。
雖然本質上來說，視頻就是一系列圖像的疊加，但相比于生成圖像，用文字來生成視頻時不僅需要生成相同場景下的多個幀，還要保證相鄰幀之間的連貫性，訓練模型時可用的高質量視頻數據非常少，但計算量卻很大，大大增加了視頻生成任務的復雜性。
9月29日，來自Meta的研究人員發布了Make-A-Video，這是一個基于人工智能的高質量短視頻生成模型，相當于視頻版的DALL·E，也被戲稱為“用嘴做視頻”，即可以通過文本提示創建新的視頻內容，其背后使用的關鍵技術也同樣來自DALL-E等圖像生成器所使用的文本-圖像合成技術。

“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保

僅1周之后，谷歌CEO皮查伊就接連官宣了兩個模型來正面挑戰Meta的Make-A-Video，分別是Imagen Video與Phenaki。
與Make-A-Video相比，Imagen Video更加突出視頻的高清特性，能生成1280*768分辨率、每秒24幀的視頻片段，還能理解并生成不同藝術風格的作品；理解物體的3D結構，在旋轉展示中不會變形；甚至還繼承了Imagen準確描繪文字的能力，在此基礎上僅靠簡單描述產生各種創意動畫。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
而Phenaki則能根據200個詞左右的提示語生成2分鐘以上的較低分辨率長鏡頭，講述一個相對完整的故事。
在計算機視覺領域中，文本生成圖像或視頻用到最多的就是生成模型，生成模型也在最近的文本到圖像 AI 系統中取得了重大進展，比如 DALL-E 2、Imagen、Parti、CogView 和 Latent Diffusion等。這些新模型和算法的基本思路都來自于早期最出名的GAN(生成對抗網絡)，即通過生成器和辨別器之間的相互對抗來生成圖像。但由于模型本身具有對抗性，因此很難進行訓練，而利用擴散模型則可以解決這個問題，這也是今年最火的模型之一。
“用嘴做視頻”已經成真！AI讓短視頻創作者驚呼飯碗不保
擴散模型也是生成模型的一種，其背后的直覺和原理來源于物理學：氣體分子從高密度區域擴散到低密度區域的現象與由于噪聲干擾而導致信息丟失的現象相似。所以通過引入噪聲導致信息的衰減，再嘗試通過去噪來生成圖像，就能通過多次迭代，使得模型每次都在給定一些噪聲輸入的情況下學習生成新圖像。如今，擴散模型在密度估計、文本到語音、圖像到圖像、文本到圖像和 3D 合成等多種生成式建模任務中都取得了巨大成功。

短視頻創作者可暫時“松一口氣”

自人工智能得以真正發展以來，每當有了令人驚嘆的新進展后都會有相同的一個問題出現，即AI到底會不會取代人類，由擴散模型帶火的文字生成視頻也不例外。
對于這個問題，Stability AI的新任首席信息官Daniel Jeffries曾經表示，AI最終會帶來更多的工作崗位，就像相機的發明雖然取代了大部分畫家，但也創造了攝影師這一職業，同時還開辟了電影、電視這樣更大規模的全新產業。
雖然對于普通用戶等非專業人士來說，當前AI生成的視頻效果已經足夠驚艷，但相信真正的業內人士能夠一眼看出AI還是缺乏對每一個鏡頭的精細控制，也沒有任何真正的思考注入到視頻的內容當中，對于AI取代視頻創作者的擔憂恐怕為時過早。
不過，這些AI技術對于工作的輔助作用有立竿見影的效果。如對于媒體行業來說，常常有“一圖勝千言”的情況發生，很多時候寫好了的文字，總差一張恰到好處的配圖來畫龍點睛。
此外，如果不能恰當地引用圖片并標注來源，還會造成一定的法律風險，當有了AI輔助生成圖片或視頻內容之后，雖然可以規避類似問題，但新的問題也接踵而來。

AI總在鉆各種法律的空子

2019年時，一款名為“ZAO”的AI換臉軟件曾經火爆全網，用戶只需要在APP中上傳一張照片，就能將自己的臉替換成任何想要替換的人，并且人臉融合效果非常好，達到了以假亂真的程度。不過，盡管該軟件很有趣，并且將技術門檻降到最低，但很快也遭到了用戶的抵制，因為該軟件獲取的個人信息并無法保障其安全性，這很有可能讓不法分子鉆了空子。
同樣，在AI生成視頻領域，這樣的惡意創作依舊不可避免，出于安全和倫理的考慮，谷歌表示暫時不會發布兩個視頻生成模型的代碼或Demo。Meta也承認，按需制作真實感視頻的能力存在一定的社會危害，因此將所有由AI生成的視頻內容都加上了水印，以“確保觀眾知道這段視頻是由人工智能生成的，而不是捕捉到的視頻。”
通常情況下，傳統理論認為，作為智力活動的創作只能由人類的思維活動來實現，即作品是自然人思想觀念的表達。但在人工智能時代，這一理論將會受到重大挑戰，人們也需要重新思考與之相關的新標準、新道德、新法規。
參考資料：
1.《真·拿嘴做視頻！Meta「AI導演」一句話搞定視頻素材，網友：我已跟不上AI發展速度》，量子位
2.《谷歌AI生成視頻兩連發：720p高清+長鏡頭，網友：對短視頻行業沖擊太大》，量子位
3.《圖像生成卷膩了，谷歌全面轉向文字→視頻生成，兩大利器同時挑戰分辨率和長度》，機器之心

本文來自微信公眾號“物聯網智庫”（ID:iot101），作者：，36氪經授權發布。

0
消息通知
咨詢入駐
商務合作