張國(guó)榮生前最后一場(chǎng)演唱會(huì)視頻修復(fù)重映，騰訊多媒體實(shí)驗(yàn)室詳解幕后技術(shù)

記者 | 崔鵬

編輯 |

1

4月1日晚間，騰訊將在視頻號(hào)和騰訊視頻共同播出張國(guó)榮2000年《熱.情》演唱會(huì)的超清修復(fù)版，這是張國(guó)榮生前舉辦的最后一場(chǎng)演唱會(huì)。

環(huán)球音樂(lè)旗下的寶麗金唱片公司為騰訊提供了原版演唱會(huì)母帶，騰訊云、微信、視頻號(hào)和騰訊視頻參與了本次修復(fù)和播出工作，其中為視頻做修復(fù)的是騰訊多媒體實(shí)驗(yàn)室，隸屬于CSIG（云與智慧產(chǎn)業(yè)事業(yè)群）。

1號(hào)當(dāng)天，騰訊多媒體實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人接受了界面新聞等媒體的采訪，介紹本次修復(fù)工作背后的技術(shù)和故事。

多媒體實(shí)驗(yàn)室總監(jiān)李松南介紹稱(chēng)，團(tuán)隊(duì)日常的工作內(nèi)容主要有兩方面：參與國(guó)際國(guó)內(nèi)多媒體（音視頻）相關(guān)的標(biāo)準(zhǔn)制定；把平時(shí)積累的技術(shù)提供給其它部門(mén)，比如騰訊視頻云、媒體AI中臺(tái)和數(shù)據(jù)萬(wàn)象都會(huì)用到它們的技術(shù)。

今年初，在一個(gè)偶然機(jī)會(huì)下，多媒體實(shí)驗(yàn)室與環(huán)球音樂(lè)旗下的寶麗金唱片進(jìn)行接觸，了解到對(duì)方擁有張國(guó)榮一場(chǎng)演唱會(huì)的母帶，而每年4月1日文化娛樂(lè)業(yè)內(nèi)都會(huì)有紀(jì)念張國(guó)榮的活動(dòng)，雙方都覺(jué)得這里有合作機(jī)會(huì)，就達(dá)成了相關(guān)意向。

3月初多媒體實(shí)驗(yàn)室團(tuán)隊(duì)拿到母帶，開(kāi)始正式做修復(fù)工作。其中純算法跑通大概只用了2天，所以在修復(fù)工作中，單純的算法修復(fù)環(huán)節(jié)耗時(shí)并不長(zhǎng)。

但實(shí)驗(yàn)室希望盡量保留演唱會(huì)的藝術(shù)風(fēng)格，所以嘗試了不同算法和效果，希望能取得比較好的平衡。

目前，對(duì)于膠片產(chǎn)品的修復(fù)主要有物理修復(fù)和數(shù)字修復(fù)兩種，而數(shù)字修復(fù)也有人工修復(fù)和全自動(dòng)修復(fù)兩種方式。騰訊多媒體實(shí)驗(yàn)室做的是全自動(dòng)的基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的修復(fù)，通過(guò)比較少的人力介入，減少后續(xù)人工修復(fù)的成本。

李松南告訴界面新聞等媒體，“我們的目標(biāo)是做自動(dòng)化的修復(fù)，算法比較通用，不需要針對(duì)性的去做優(yōu)化”，讓這套修復(fù)算法能夠適配更多類(lèi)似場(chǎng)景。

圖片來(lái)源：騰訊

李松南向界面新聞等媒體介紹稱(chēng)，修復(fù)流程從算法角度來(lái)說(shuō)主要分為四步：

首先是智能分析模塊。主要用來(lái)分析視頻的質(zhì)量，包括失幀的類(lèi)型和程度，人臉的位置等。

其次是修復(fù)模塊。主要用于修復(fù)視頻中的各種失幀，比如老片中常出現(xiàn)的噪聲、隔行失幀，然后對(duì)清晰度低的片段進(jìn)行超分。

第三是增強(qiáng)模塊。主要是讓圖像本身的內(nèi)容更清晰，更豐富。

第四是編碼模塊。在盡量低碼率的情況下還原視頻內(nèi)容，因?yàn)樵谥辈ズ忘c(diǎn)播過(guò)程中，對(duì)碼率有一定要求。

張國(guó)榮這場(chǎng)演唱會(huì)的時(shí)長(zhǎng)是兩小時(shí)，傳統(tǒng)人工修復(fù)大概需要一兩個(gè)月時(shí)間，但是用純算法修復(fù)大概兩天就能跑出結(jié)果。剩下的時(shí)間，團(tuán)隊(duì)都在盡量還原演唱會(huì)的藝術(shù)表達(dá)效果。

在這方面，演唱會(huì)視頻的修復(fù)與傳統(tǒng)電影電視劇作品的修復(fù)有很大區(qū)別。

多媒體實(shí)驗(yàn)室此前為騰訊視頻的《康熙王朝》等電視劇做過(guò)修復(fù)，影視劇作品的場(chǎng)景比較固定，人物運(yùn)動(dòng)和畫(huà)面色彩風(fēng)格都比較統(tǒng)一。

演唱會(huì)涉及不同色彩的燈光切換，畫(huà)面鏡頭多角度切換，針對(duì)同一個(gè)人物的遠(yuǎn)近景和大小臉切換。實(shí)驗(yàn)室在此前的修復(fù)工作中很少遇到這種復(fù)雜的場(chǎng)景，其中尤以動(dòng)態(tài)的人臉修復(fù)問(wèn)題比較棘手。

現(xiàn)在行業(yè)內(nèi)主流的人臉修復(fù)大部分是基于單張照片進(jìn)行，在視頻修復(fù)上會(huì)遇到很多問(wèn)題，比如臉的角度和姿態(tài)不一樣，在算法里的解決方式也不同。

另一個(gè)干擾項(xiàng)來(lái)自于燈光因素，演唱會(huì)現(xiàn)場(chǎng)的燈光顏色多變，打到人臉上就會(huì)出現(xiàn)很多算法難以處理的問(wèn)題。

“我們做人臉修復(fù)時(shí)有個(gè)很大的臉特寫(xiě)，那會(huì)正好燈光是紅色，打到張國(guó)榮臉上的時(shí)候，臉的顏色就跟正常不同，所以修復(fù)的時(shí)候人臉模型和修復(fù)結(jié)果需要專(zhuān)門(mén)做優(yōu)化?！?/p>

多媒體實(shí)驗(yàn)室2013年剛開(kāi)始做視頻處理時(shí)，主要基于傳統(tǒng)算法做一些視頻降噪和背景增強(qiáng)，后來(lái)團(tuán)隊(duì)的很多模型依靠AI和深度學(xué)習(xí)方式在騰訊云上進(jìn)行，最開(kāi)始基于卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)在擴(kuò)展至使用生成網(wǎng)絡(luò)來(lái)進(jìn)行。

從視頻修復(fù)對(duì)比來(lái)看，寶麗金給的母帶分辨率非常低，大概只有720×480分辨率，做完修復(fù)以后騰訊將其做到了接近4K的分辨率，分辨率大概提升了6倍。

目前，對(duì)于老舊影視劇和演唱會(huì)作品的修復(fù)，業(yè)內(nèi)并沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。也就是說(shuō)，具體修復(fù)到什么程度，舞臺(tái)氛圍修復(fù)到什么樣子才算還原，有沒(méi)有達(dá)到“舊”的效果，比較依賴(lài)主觀判斷，每個(gè)人的看法都會(huì)不同。

從結(jié)果來(lái)看，寶麗金公司對(duì)修復(fù)的效果滿(mǎn)意，也表達(dá)了后續(xù)針對(duì)別的IP進(jìn)行合作的訴求。

關(guān)鍵詞： 張國(guó)榮生前最后一場(chǎng)演唱會(huì)視頻修復(fù)重映 騰訊多媒體實(shí)驗(yàn)室