金磊 Pine 發自 凹非寺量子位 | 公眾號 QbitAI

家人們，AI做視頻這事今天又被推向了輿論的風口浪尖。

起因是有人在網上發布了這么一只小企鵝的視頻：

而這個近50秒視頻的誕生，靠的僅僅是6句話！

陸陸續續的，網友們還在發布著這個AI的其它杰作：

這次給它投喂的提示詞也是極短，僅4行：

如此“所寫即所得”、絲滑連貫的視頻生成方式，也是令不少網友發出感慨：

未來已至。

甚至還有人開始“拉仇恨”，說AI正在用各種方式摧毀行業……

然后就有很多人發問了：“這又是哪家新搞的AI哇？”

不過眼尖的網友發現它其實是一位“老朋友”了——

谷歌去年10月份便發布的一個文本轉視頻（Text-to-Video）模型：Phenaki。

只需一段提示詞，分分鐘可以生成長達兩分鐘的視頻。

而相比Phenaki剛發布的時候，谷歌又來了一波上新操作。

那么我們現在就來一同看看這些新視頻吧~

與以往AI生成的視頻不同，Phenaki最大的特點便是有故事、有長度。

例如，我們再給這么一段場景描述：

在一座未來感十足的城市里，交通紛繁復雜，這時，一艘外星飛船抵達了城市。

隨著鏡頭的拉近，畫面進入到了飛船內部；而后鏡頭沿著船內長廊繼續向前推進，直到看到一名宇航員在藍色的房間里敲鍵盤打字。

鏡頭逐漸移向宇航員的左側，身后出現藍色海洋，魚兒們在水里徜徉；畫面快速放大聚焦到一條魚的身上。

隨后鏡頭快速從海里浮出，直到看到摩天大樓高聳林立的未來城市；鏡頭再快速拉近到一撞大樓的辦公室。

這時，一只獅子突然跳到辦公桌上并開始奔跑；鏡頭先聚焦到獅子的臉上，等再次拉遠時，這只獅子已經幻化成西裝革履的“獸人”。

最后，鏡頭從辦公室拉出，落日余暉下鳥瞰這座城市。

想必不少友友們在讀這段文字過程中，腦中已經浮現相應的畫面了。

接下來，我們一起看看Phenaki生成的效果如何：

是不是和你腦補出來的畫面一致呢？

總體來說，這個AI即便面對這種腦洞大開的場景提示詞，也是做到了無縫銜接的轉場。

也難怪網友們看完這段視頻后驚呼“（科技）發展得真快啊”。

而對于篇幅稍短的提示詞，Phenaki就更不在話下了。

例如，給Phenaki投喂這樣一段文字：

一只逼真的泰迪熊正在潛水；隨后它慢慢浮出水面；走上沙灘；這時鏡頭拉遠，泰迪熊行走在海灘邊篝火旁。

沒看夠？那再來一段，這次換個主角：

在火星上，宇航員走過一個水坑，水里倒映著他的側影；他在水旁起舞；然后宇航員開始遛狗；最后他和小狗一起看火星上看煙花。

而在谷歌更早發布Phenaki之際，還展示了向Phenaki輸入一個初始幀以及一個提示詞，便可以生成一段視頻的能力。

例如給定這樣一張靜態圖：

然后再給它Phenaki簡單“投喂”一句：白貓用貓爪觸摸攝像機。效果就出來了：

還是基于這張圖，把提示詞改成“一只白貓打哈欠”，效果就成這樣了：

當然，任意切換視頻整體風格也是可以hold得住的：

但除了Phenaki之外，谷歌當時還一道發布過Imagen Video，能夠生成1280*768分辨率、每秒24幀的高清視頻片段。

它基于圖像生成SOTA模型Imagen，展示出了三種特別的能力：

• 能理解并生成不同藝術風格的作品，水彩、像素甚至梵高風格

• 能理解物體的3D結構

• 繼承了Imagen準確描繪文字的能力

更早的，Meta也發布了Make-A-Video，不僅能夠通過文字轉換視頻，還能根據圖像生成視頻，比如：

• 將靜態圖像轉成視頻

• 插幀：根據前后兩張圖片生成一段視頻

• 根據原視頻生成新視頻……

對于這如“雨后春筍”突然冒出的生成視頻模型，不免會讓有些人擔心：

當然也有人認為現在時機還未到：

0-1總會很快，1-100還是會很漫長。

不過已經有網友在期待靠AI拿奧斯卡獎了：

AI要多久才能成為新的視頻編輯器，或者拿下奧斯卡？

再說回Phenaki，有不少網友都比較好奇它是如何通過文字生成這么絲滑的視頻的？

簡單來說，Phenaki相較于以往的生成視頻模型，它更注重時間長度任意性和連貫性。

Phenaki之所以能夠生成任意時間長度的視頻，很大程度上要歸功于新的編碼器-解碼器架構：C-ViViT。

它是ViViT的一個因果變體，能夠將視頻壓縮為離散嵌入。

要知道，以往獲取視頻壓縮，要么就是編碼器不能及時壓縮視頻，導致最終生成的視頻過短，例如VQ-GAN，要么就是編碼器只支持固定視頻長度，最終生成視頻的長度不能任意調節，例如VideoVQVAE。

但C-ViViT就不一樣了，它可謂是兼顧了上面兩種架構的優點，能夠在時間和空間維度上壓縮視頻，并且在時間上保持自回歸的同時，還可以自回歸生成任意長度的視頻。

C-ViViT可以使模型生成任意長度的視頻，那最終視頻的邏輯性又是怎么保證的呢？

這就得靠Phenaki另外一個比較重要的部分：雙向Transformer。

在這其中，為節省時間，采樣步驟是固定的，并且在處理文本提示的過程中，能同時預測不同的視頻token。

這樣一來，結合前面提到的，C-ViViT能夠在時間和空間維度上壓縮視頻，壓縮出來的token是具有時間邏輯性的。

也就是說，在這些token上經過掩碼訓練的Transformer也具備時間邏輯性，最終生成的視頻在連貫性自然也就有了保證。

如果還想了解更多關于Phenaki的東西，可以戳這里查看。

Phenaki：https://phenaki.github.io

參考鏈接：[1] https://phenaki.video/[2] https://phenaki.research.google/[3] https://twitter.com/AiBreakfast/status/1614647018554822658[4] https://twitter.com/EvanKirstel/status/1614676882758275072