日本CG大神又整活了！3D建模軟件拿來搞面部實(shí)時捕捉

博雯 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

最近，拿Maya加一個換臉軟件就能做到的實(shí)時面部捕捉在日推火了：

不管怎么擠眉弄眼，褶子和肌肉的細(xì)微變化都跟得上。

連續(xù)兩個演示視頻點(diǎn)贊分別突破4k和3k，甚至被網(wǎng)友評價為“效果好得有點(diǎn)可怕”。

怎么說呢……直接杵一個臉在攝像頭前，就能實(shí)時替換臉部表情確實(shí)更方便。

至少和滿臉小點(diǎn)+機(jī)械裝置比起來，不再那么密恐福利了……

開發(fā)者橫原大和（Hirokazu Yokohara） 是日本的一位“全才”藝術(shù)家，3D建模、場景、特效、甚至像這種沾邊前沿科技的活兒都會做。

比如我們之前介紹過的那位在電車上啾咪順拐的萌妹，也是出自這位大神之手：

接下來，我們先從他這次所用的技術(shù)開始了解。

又見DeepFake

橫山提到，他在幾天前看到有人將UE5和DeepFace Live結(jié)合起來，直接合成了一個視頻：

于是他便也起了心思，打算用Maya試試看。并且他還實(shí)現(xiàn)了實(shí)時面部捕捉的效果。

具體來說，技術(shù)方案是Maya + 換臉軟件DeepFace Live。

其中Maya是有軟件自帶的面部綁定系統(tǒng)。

而DeepFace Live聽名字就知道，與曾經(jīng)爆火的DeepFake有關(guān)。

這是一種利用機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)實(shí)現(xiàn)的深度視頻換臉的技術(shù)，基于這種技術(shù)誕生了無數(shù)的下載即用，甚至在線可玩的工具和軟件。

（肌肉金輪就是其成果之一）

DeepFace Live就是其中一種。

這是一個去年剛剛公開的開源工具，特點(diǎn)是可以在流媒體或直播視頻中實(shí)時換臉，也就是說讓用戶通過網(wǎng)絡(luò)攝像頭應(yīng)用面部過濾器，與大多數(shù)基于視頻的流媒體和信息服務(wù)結(jié)合使用。

比如常見的Skype，Zoom，Tik Tok，Twitch上都可以使用：

當(dāng)然，DeepFaceLive的人臉交換功能也可以應(yīng)用于預(yù)先錄制的視頻。

開發(fā)者是來自俄羅斯的Iperov，同時，他也是曾經(jīng)應(yīng)用最廣泛的DeepFaceLab的開發(fā)者質(zhì)之一。

開發(fā)者也是老二刺猿了

至于這位橫原大神本身，我們開頭介紹過，這是一位在各領(lǐng)域都造詣頗深的通才。

他來自東京的khaki工作室，主要負(fù)責(zé)為CM，MV，動畫，大型游戲等各種媒體或設(shè)備設(shè)計(jì)視覺特效（VFX）。

不說工作室的名字，只說他們的作品，總有一款你熟悉的。

比如陰陽師2017年的這個宣傳PV：

2020年的VR游戲設(shè)備hexaRide中的第一款合作游戲，《攻殼機(jī)動隊(duì)》的CG。

還為世界第一的公主殿下做過MV。

怎么說呢，老二刺猿了。

關(guān)鍵詞： 日本CG大神又整活了3D建模軟件拿來搞面部實(shí)時捕捉 maya