想“返老還童”？迪士尼這個新AI分分鐘搞定，失業(yè)壓力給到特效師

Pine 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

迪士尼驚現(xiàn)“返老還童”大法！

(資料圖片)

輸入一段視頻，演員分分鐘就能變年輕，變老也不在話下。效果是醬嬸兒的：

而且下一步，迪士尼準(zhǔn)備將這種AI算法用到電影中去。

化妝特效師的飯碗?！?/p>

迪士尼這個新的AI算法名叫FRAN，至于對比過往類似的模型，它的效果可謂是上了一個臺階。

幀與幀過渡生硬、易受人物動作幅度影響、忽略背景……這些問題FRAN統(tǒng)統(tǒng)都解決掉了！

真有說得這么厲害？不妨來一起康康～

具體原理

迪士尼的AI算法效果如何，對比以往的模型，效果就高下立判了！

過往模型在改變年齡的過程中往往都聚焦在人臉身上，會忽略掉人像后面的背景，比如DLFS直接就扣掉了背景圖。

并且?guī)c幀之間的過渡也不是很流暢。

反觀迪士尼的新AI算法，在背景處理這塊做的就比較自然了。

FRAN可以精確地保留演員的既有的外觀，即使在頭部動作幅度很大時或光線變化的情況下也能如此。

除此之外，F(xiàn)RAN的靈活性也更強(qiáng)了，可以任意調(diào)節(jié)想要的年齡，比如下面這個視頻，拖動進(jìn)度條就能迅速體驗(yàn)下從年輕到年老的效果。

值得一提的是，F(xiàn)RAN還允許后期人員對生成的視頻進(jìn)行二次調(diào)整，使整個視頻更加自然，這個過程也是視覺特效工作的一個重要組成部分。

話說回來，那FRAN又是怎樣達(dá)到這樣的效果的呢？

涉及到兩個問題：

一是數(shù)據(jù)集問題，用于訓(xùn)練模型的數(shù)據(jù)怎么解決？當(dāng)然，用真實(shí)的人臉數(shù)據(jù)（年輕～年老）來訓(xùn)練肯定是不現(xiàn)實(shí)的，畢竟也沒那么多數(shù)據(jù)。

在這里，迪士尼利用當(dāng)前SOTA模型生成的人臉圖像作為數(shù)據(jù)，用這些數(shù)據(jù)來訓(xùn)練FRAN。

第二個問題是神經(jīng)網(wǎng)絡(luò)的架構(gòu)，F(xiàn)RAN采用的是U-Net架構(gòu)。

在生成的過程中，F(xiàn)RAN會預(yù)測面部的哪些像素點(diǎn)會隨著年齡的增長而改變，比如增加或去除皺紋，然后這些結(jié)果會作為額外的視覺信息通道覆蓋在原來的臉上。

在這個過程中，還可以選擇使用預(yù)先訓(xùn)練好的人臉分割網(wǎng)絡(luò)：BiSeNetV2，并設(shè)置局部的輸入和輸出年齡值，來限制皮膚區(qū)域的再老化，使生成的效果更好。

不過值得注意的是，在年齡跨度較大時，比如從童年到老年，F(xiàn)RAN可能就會失靈了，畢竟它整體的大邏輯是添加和祛除皺紋。

壓力給到特效師

迪士尼計劃將AI技術(shù)用在電影制作中也不是一天兩天了，大家也都知道，做視覺特效是真燒錢，不僅燒錢，還費(fèi)時間。

兩年前，迪士尼就曾開發(fā)過一款換臉技術(shù)，效果直接看圖：

并且在面部捕捉方面，迪士尼也是下了狠功夫，今年早些時候，它還推出了不用刮胡子就能進(jìn)行面部捕捉的新技術(shù)。

最近呢，迪士尼除了公布FRAN這個AI算法外，還公布了一個可以制作不同形態(tài)、不同風(fēng)格煙霧的AI。

迪士尼這邊開發(fā)AI技術(shù)是開發(fā)得如火如荼，不知道那邊特效師的心態(tài)如何，畢竟這些AI未來可是要干他們的活啊。

關(guān)于AI搶特效師飯碗，你覺得未來會出現(xiàn)嗎？

參考鏈接：

[1]https://gizmodo.com/disney-ai-art-vfx-visual-effects-de-age-younger-older-1849835548

[2]https://www.youtube.com/watch?v=ZP1ApcdyAjk

關(guān)鍵詞： 想返老還童迪士尼這個新AI分分鐘搞定 失業(yè)壓力給到