豐色 發自 凹非寺
量子位 | 公眾號 QbitAI

AI超清修復了張國榮《熱·情》演唱會。

無數粉絲聚集在手機電視屏幕前重溫那場經典。

這便是昨晚，在張國榮辭世19周年紀念日所上演的一幕：

可以看到前后對比明顯，修復后的張國榮臉部、舞臺等細節清晰可見。

作為張國榮生前最后一場，它的反響空前絕后，是無數歌迷心中的經典之作。

在聽說騰訊修復了這場演唱會之后，有粉絲激動地表示“高興地吃不下飯”。

在昨晚的現場直播中，不少歌迷更是直言淚奔：

“感謝AI修復師們的努力，我們好像瞬間回到了22年前的舞臺現場，得以再次感受哥哥的絕代風采。”

修復歷史影像作品甚至殘損影像，對于經驗豐富的騰訊多媒體實驗室來說挑戰并不大。

他們已經參與過《康熙王朝》、《天下人家》等多部經典影視劇的高清修復工作。

而這次的唱片公司寶麗金珍藏的《熱·情》演唱會母帶和網上流傳的視頻，畫質也是普遍欠佳。

但其中最大的難點還是演唱會視頻中的色彩、畫面切換太快。

如何才能給觀眾帶來融入其中的沉浸感體驗，最大限度地還原原視頻的清晰度？

來自騰訊的修復師們一共用了四大步：智能分析、畫質修復、畫質增強和智能編碼。

具體來說，首先要利用多種智能評估算法對視頻內容進行全方位、多維度分析，評估視頻的運動和紋理復雜度、壓縮失真程度等。

得到分析結果后，再利用畫質修復模塊的多種智能算法（騰訊自研），修復各類破壞畫質的主要因素，包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題。

這其中比如劃痕修復就存在諸多難點。一方面劃痕修復不可逆且成本高昂；另一方面目前缺少龐大的劃痕公開數據庫，算法難以調優，建設成本也非常昂貴。

為此，實驗室專門設計了針對性的多方向數據增廣方案。方案包括劃痕的裁切及合并、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調整、隨機透明度調整等。

緊接著，畫質增強模塊便會選擇最佳視頻增強算法，對畫面進行多維度畫質提升，在空間和時間上提升視頻的分辨率和幀率，在空域上提升細節清晰度、色彩豐富度。

這其中需要駕馭和平衡CNN(卷積神經網絡)和GAN(生成對抗網絡)兩種智能算法。

CNN是經過大量圖像數據訓練而成的熟練工”，它修復的結果比較真實，但有時細節會不夠豐富；而GAN經過自我博弈成長而來，它修復的結果更為豐富細膩，但有時會顯得不太真實。

在完成視頻修復及畫質增強后，智能編碼模塊可以通過自適應編碼在減少輸出文件大小、視頻傳輸成本的同時，保證視頻的主觀質量不受影響，實現最佳的畫面效果。

從歌迷們的反響來看，最終呈現的效果可以說是讓他們感到非常滿意。

不少人還表示：

“可不可以把告別演唱會和98年的那場也修復了？真的好期待。”

騰訊多媒體實驗室，是騰訊旗下的多媒體通信和處理研發團隊，專門研究多媒體數據傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領域的技術與產品化。

實驗室的總經理則是劉杉博士，她是騰訊首位女性杰出科學家、IEEE Fellow，也是全球音視頻領域的技術帶頭人。

劉杉博士本科畢業于清華大學電子工程系，碩士和博士畢業于美國南加州大學，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統和智能化應用。

在劉杉博士的帶領下，騰訊多媒體實驗室也多次參與國際國內行業標準制定，包含多媒體數據壓縮，多媒體傳輸、系統與5G，以及多媒體AI等。

自2018年參與H.266/VVC標準制定以來，該實驗室已有超過500項提案被多個國際標準采納。

本文來自微信公眾號“量子位”（ID：QbitAI），36氪經授權發布。