焦點(diǎn)關(guān)注：Meta研究為Avatar設(shè)計(jì)合成逼真自然的穿衣服飾效果

查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

穿衣Avatar建模

（映維網(wǎng)Nweon 2022年09月28日）照片真實(shí)感Avatar是遠(yuǎn)程社交的重要組成環(huán)節(jié)，系A(chǔ)R/VR的關(guān)鍵應(yīng)用之一。實(shí)際上，如果你有關(guān)注映維網(wǎng)的分享，你會(huì)注意到Meta一直在積極探索相關(guān)的解決方案。在名為《Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing》的論文中，由Meta、卡內(nèi)基梅隆大學(xué)和明尼蘇達(dá)大學(xué)組成的團(tuán)隊(duì)又針對(duì)穿衣Avatar建模提出了相關(guān)的思考方案。

(資料圖)

盡管關(guān)于全身Avatar的研究已經(jīng)產(chǎn)生了能夠從稀疏信號(hào)中生成人類(lèi)照片真實(shí)感合成表示的可動(dòng)畫(huà)模型，但合成真實(shí)感服飾依然是Avatar建模中的一個(gè)挑戰(zhàn)。

同時(shí)，服飾是一種基本的自我表達(dá)形式，而創(chuàng)造出高品質(zhì)的穿衣真實(shí)感動(dòng)畫(huà)的根本需要。關(guān)于可動(dòng)畫(huà)穿衣Avatar的現(xiàn)有研究主要可以分為兩大類(lèi)：1. 服飾模擬通過(guò)動(dòng)力學(xué)創(chuàng)建逼真的服飾變形，但只關(guān)注幾何建模；2. 另一項(xiàng)研究則利用真實(shí)世界捕捉來(lái)構(gòu)建服飾幾何的神經(jīng)表示。然而，相關(guān)系統(tǒng)通常會(huì)阻礙服飾的動(dòng)態(tài)性，難以泛化到看不見(jiàn)的姿態(tài)，并且無(wú)法很好地處理碰撞。

Meta團(tuán)隊(duì)的主要見(jiàn)解是，這兩條路線(xiàn)實(shí)際上是相輔相成，可以將它們結(jié)合起來(lái)并利用兩者的優(yōu)勢(shì)。在研究中，研究人員建議將基于物理的服飾模擬集成到Avatar建模中，以便Avatar的服飾可以與身體一起進(jìn)行照片真實(shí)感的動(dòng)畫(huà)化，同時(shí)實(shí)現(xiàn)高質(zhì)量的動(dòng)力學(xué)、碰撞處理、以及使用新服飾對(duì)Avatar進(jìn)行動(dòng)畫(huà)制作和渲染的能力。

值得一提的是，這項(xiàng)研究是以全身Codec Avatars作為基礎(chǔ)，利用Variational Autoencoder（VAE）來(lái)模擬人體的幾何結(jié)構(gòu)和外觀(guān)。特別是，他們遵循多層公式，但重新設(shè)計(jì)了服飾層，從而集成基于物理的模擬器。

在訓(xùn)練階段，團(tuán)隊(duì)通過(guò)動(dòng)態(tài)服飾配準(zhǔn)管道處理原始捕獲，使用真實(shí)世界的數(shù)據(jù)學(xué)習(xí)服飾外觀(guān)模型。在測(cè)試時(shí)，使用適當(dāng)?shù)牟馁|(zhì)參數(shù)模擬底層身體模型之上的服飾幾何，然后應(yīng)用學(xué)習(xí)的外觀(guān)模型合成最終輸出。

遺憾的是，這個(gè)管道的簡(jiǎn)單實(shí)現(xiàn)存在兩個(gè)主要問(wèn)題。首先，模擬器輸出和從實(shí)際數(shù)據(jù)獲得的追蹤之間存在差距。盡管在受控設(shè)置或僅在估計(jì)身體參數(shù)方面取得了一定的進(jìn)展，但估計(jì)身體和服飾的全套物理參數(shù)以忠實(shí)地再現(xiàn)穿衣身體配置依然是一個(gè)尚未解決的問(wèn)題。手動(dòng)選擇參數(shù)的測(cè)試時(shí)間模擬輸出與用于訓(xùn)練的真實(shí)服飾幾何圖形之間存在不可避免的差異。

其次，高精度追蹤服飾和潛在的身體幾何形狀依然是一個(gè)十分具有挑戰(zhàn)性的問(wèn)題，特別是對(duì)于寬松的服飾，如裙子和連衣裙。

這兩個(gè)問(wèn)題，訓(xùn)練和測(cè)試場(chǎng)景之間的不一致性，以及不可靠的追蹤，使得學(xué)習(xí)一個(gè)可泛化的外觀(guān)模型更具挑戰(zhàn)性。

為此，研究人員根據(jù)架構(gòu)和輸入表示設(shè)計(jì)了本地化模型。他們同時(shí)從基于物理的渲染中獲得靈感，將外觀(guān)分解為局部漫反射組件、依賴(lài)視圖和全局照明效果，如陰影。

特別是，團(tuán)隊(duì)依賴(lài)于一個(gè)無(wú)監(jiān)督的陰影網(wǎng)絡(luò)，以從身體和服飾幾何顯式計(jì)算的環(huán)境遮擋貼圖為條件。因此，即使在測(cè)試時(shí)針對(duì)不同的基礎(chǔ)身體模型，其都可以有效地建模動(dòng)態(tài)陰影。所述方法可以生成物理真實(shí)的動(dòng)力學(xué)和照片真實(shí)感外觀(guān)，支持復(fù)雜身體-服飾交互中的各種身體運(yùn)動(dòng)。

另外，相關(guān)公式允許在不同個(gè)人的Avatar之間轉(zhuǎn)移服飾。團(tuán)隊(duì)指出，這一方法為照片級(jí)真實(shí)感Avatar穿著新衣開(kāi)辟了可能性。

方法介紹

研究人員的目標(biāo)是構(gòu)建具有動(dòng)態(tài)服飾和照片級(jí)真實(shí)感外觀(guān)的姿勢(shì)驅(qū)動(dòng)型全身Avatar。他們對(duì)Avatar進(jìn)行了多視角拍攝序列的訓(xùn)練，每個(gè)主體都穿著感興趣的服飾。在測(cè)試時(shí)，Avatar由骨架運(yùn)動(dòng)的稀疏驅(qū)動(dòng)信號(hào)設(shè)置動(dòng)畫(huà)，并可以在新的camera視點(diǎn)中渲染。團(tuán)隊(duì)的目標(biāo)是實(shí)現(xiàn)高保真動(dòng)畫(huà)，無(wú)論是從人類(lèi)主體的外觀(guān)還是從時(shí)間的服飾動(dòng)態(tài)來(lái)看都足夠逼真。

為此，他們開(kāi)發(fā)了一個(gè)由三個(gè)模塊組成的動(dòng)畫(huà)管道：底層身體Avatar模型、基于物理的服飾模擬和、以及服飾外觀(guān)模型。

底層身體Avatar將骨架姿勢(shì)作為輸入，并輸出身體幾何體。給定一系列身體幾何圖形，然后使用服飾模擬生成具有自然和豐富動(dòng)力學(xué)的服飾幾何圖形，并與底層身體的運(yùn)動(dòng)在物理上保持一致。

最后，將服飾外觀(guān)模型應(yīng)用于模擬幾何體并生成照片級(jí)真實(shí)感紋理。其中，所述紋理不僅考慮了服飾幾何體，同時(shí)考慮了Avatar身體遮擋造成的陰影。服飾投射在身體上的陰影在底層身體Avatar中進(jìn)行了類(lèi)似建模。圖2顯示了整體管道。

團(tuán)隊(duì)發(fā)現(xiàn)，服飾的高效照片級(jí)外觀(guān)建模是這樣一個(gè)管道中缺少的關(guān)鍵組件。為了構(gòu)建這樣一個(gè)系統(tǒng)，他們解決了兩個(gè)主要的技術(shù)挑戰(zhàn)。一方面，他們開(kāi)發(fā)了一個(gè)深度服飾外觀(guān)模型，它可以有效生成具有動(dòng)態(tài)視相關(guān)和陰影效果的高度真實(shí)感服飾紋理。對(duì)于模型的設(shè)計(jì)，研究人員側(cè)重于生成外觀(guān)的泛化，因?yàn)閬?lái)自服飾模擬器的輸入幾何體可能不同于用于訓(xùn)練外觀(guān)模型的追蹤服飾幾何。

另一方面，為了生成外觀(guān)模型的訓(xùn)練數(shù)據(jù)，他們擴(kuò)展了以前的服飾配準(zhǔn)算法，從而處理高度動(dòng)態(tài)的服飾類(lèi)型，包括裙子和連衣裙。另外，研究人員通過(guò)匹配顯著特征來(lái)追蹤服飾上的光度對(duì)應(yīng)關(guān)系（所述特征對(duì)于高紋理服飾外觀(guān)的建模至關(guān)重要）。

穿衣身體配準(zhǔn)

由于服飾配準(zhǔn)不是這項(xiàng)研究的核心貢獻(xiàn)，所以他們重點(diǎn)關(guān)注大型服飾動(dòng)態(tài)和豐富紋理帶來(lái)的挑戰(zhàn)，因?yàn)檫@是實(shí)現(xiàn)高保真動(dòng)畫(huà)必須解決的問(wèn)題。數(shù)據(jù)采集設(shè)置與之前的工作類(lèi)似。這一管道以對(duì)象的多視圖圖像序列作為輸入，并在兩個(gè)單獨(dú)的層中輸出服飾和底層身體的配準(zhǔn)網(wǎng)格。

研究人員將原始幾何體重建和網(wǎng)格分割到身體和服飾區(qū)域。他們同樣估計(jì)了運(yùn)動(dòng)身體姿態(tài)和內(nèi)層身體表面。

動(dòng)態(tài)服飾配準(zhǔn)的目標(biāo)是以一致的對(duì)應(yīng)關(guān)系在單個(gè)網(wǎng)格拓?fù)渲斜硎痉棊缀误w。團(tuán)隊(duì)的服飾配準(zhǔn)方法包括兩個(gè)主要步驟，幾何配準(zhǔn)和光度校準(zhǔn)。圖3說(shuō)明了服飾配準(zhǔn)方法的概述。

幾何配準(zhǔn)

在這一步中，使用非剛性Iterative Closest Point（ICP）算法將服飾模板擬合到重建網(wǎng)格的分段服飾區(qū)域。非剛性ICP算法類(lèi)似于之前的研究，因此團(tuán)隊(duì)省略了相關(guān)細(xì)節(jié)。為了追蹤寬松和動(dòng)態(tài)服飾類(lèi)型（如裙子和連衣裙），為非剛性ICP提供良好的初始化非常重要。

他們觀(guān)察到，服飾邊界提供了關(guān)于服飾整體方向和變形的有用信息。因此，他們首先估計(jì)粗糙邊界對(duì)應(yīng)。利用每件服飾都有固定數(shù)量的邊界這一事實(shí)，通過(guò)查詢(xún)追蹤的內(nèi)身體表面中最近的頂點(diǎn)，將目標(biāo)服飾邊界上的每個(gè)點(diǎn)與模板網(wǎng)格邊界相關(guān)聯(lián)。考慮到這種粗糙的邊界對(duì)應(yīng)關(guān)系，他們使用Biharmonic Deformation Fields來(lái)求解滿(mǎn)足邊界對(duì)齊約束的逐頂點(diǎn)變形，同時(shí)最小化內(nèi)部變形。

研究人員使用Biharmonic Deformation Fields的輸出作為非剛性ICP算法的初始化。

光度校準(zhǔn)

幾何配準(zhǔn)方法通過(guò)最小化表面距離將衣服飾幾何與單個(gè)模板拓?fù)鋵?duì)齊，但沒(méi)有明確求解內(nèi)部對(duì)應(yīng)。為了有效地建模服飾外觀(guān)，有必要確保模板中的每個(gè)頂點(diǎn)始終跟蹤相同的顏色（基本上是反射比），這稱(chēng)為光度對(duì)應(yīng)。他們觀(guān)察到，基于chunk的逆繪制算法可以糾正幾何配準(zhǔn)步驟中光度對(duì)應(yīng)的小偏差，但無(wú)法從初始化中的大誤差中恢復(fù)。

在這里，他們通過(guò)匹配服飾高紋理區(qū)域中的顯著特征來(lái)明確解決光度對(duì)應(yīng)問(wèn)題。對(duì)于序列中的每一幀，首先使用上一步中幾何對(duì)齊的網(wǎng)格將多視圖圖像中的平均紋理展開(kāi)到UV空間。然后，使用DeepMatching在展開(kāi)紋理和模板紋理之間建立稀疏對(duì)應(yīng)對(duì)。團(tuán)隊(duì)同時(shí)使用RANSAC來(lái)刪除錯(cuò)誤的通信。

然后，通過(guò)求解拉普拉斯方程，將稀疏對(duì)應(yīng)加密到每個(gè)頂點(diǎn)，類(lèi)似于上一步中的Biharmonic Deformation Fields。最后，在模板和目標(biāo)網(wǎng)格之間運(yùn)行彩色I(xiàn)CP以測(cè)光對(duì)齊所有頂點(diǎn)。

深度動(dòng)態(tài)服飾外觀(guān)模型

服飾外觀(guān)模型是實(shí)現(xiàn)照片級(jí)真實(shí)感服飾動(dòng)畫(huà)系統(tǒng)的關(guān)鍵技術(shù)組件。給定服飾幾何體作為輸入，服飾外觀(guān)模型的目標(biāo)是生成可與輸入幾何體一起用于光柵化的服飾紋理，以生成照片級(jí)真實(shí)感外觀(guān)。

他們構(gòu)建了一個(gè)數(shù)據(jù)驅(qū)動(dòng)的服飾外觀(guān)模型，以便從實(shí)際捕獲的圖像序列中學(xué)習(xí)復(fù)雜的照片級(jí)真實(shí)感外觀(guān)。在設(shè)計(jì)這種模型時(shí)，需要考慮幾個(gè)因素。

首先，外觀(guān)模型根據(jù)前一個(gè)配準(zhǔn)步驟中的跟蹤幾何體進(jìn)行訓(xùn)練，但在測(cè)試時(shí)，它將模擬服飾幾何體作為輸入。因此，模型必須彌合訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間的泛化差距。

其次，生成的紋理應(yīng)包括照片級(jí)真實(shí)感外觀(guān)的各個(gè)方面，例如視相關(guān)效果和動(dòng)態(tài)陰影。

第三，為了提高效率，模型應(yīng)該只涉及可以從服飾幾何體中輕松推導(dǎo)出的基本量，而不需要計(jì)算成本高昂的操作，例如多反彈蒙特卡羅光線(xiàn)追蹤。

研究人員從捕獲設(shè)置中獲得了一系列配準(zhǔn)的服飾網(wǎng)格{ } 和基礎(chǔ)身體網(wǎng)格{ }，并與多視圖圖像配對(duì)。他們從外觀(guān)函數(shù)學(xué)習(xí)從幾何圖形 , 和視點(diǎn)到真實(shí)照片級(jí)UV紋理。圖4顯示了服飾外觀(guān)模型。

根據(jù)分析，函數(shù) 應(yīng)該能夠?qū)植柯瓷渫庥^(guān)、依賴(lài)于視圖的效果、以及投射陰影進(jìn)行建模。根據(jù)假設(shè)，每個(gè)位置的漫反射分量由法向和漫反射系數(shù)確定。因此，視圖獨(dú)立部分以法線(xiàn)方向n為條件來(lái)編碼照明方向。

他們使用帶untied biases的2D卷積來(lái)編碼服飾上空間變化的反射率。實(shí)驗(yàn)表明，作為局部幾何性質(zhì)的法向在用作輸入條件時(shí)比絕對(duì)頂點(diǎn)位置更適用于泛化。網(wǎng)絡(luò)中與視圖相關(guān)的部分同時(shí)將獲取視點(diǎn)信息作為輸入，并預(yù)測(cè)附加的視相關(guān)外觀(guān)偏移。

對(duì)于動(dòng)態(tài)陰影效果，之前的研究表明，陰影網(wǎng)絡(luò)根據(jù)環(huán)境遮擋預(yù)測(cè)的陰影貼圖可以在輸出質(zhì)量和計(jì)算效率之間實(shí)現(xiàn)良好的權(quán)衡。因此，團(tuán)隊(duì)遵循這一點(diǎn)，并使用陰影網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)陰影貼圖。輸入環(huán)境光遮擋是通過(guò)光線(xiàn)網(wǎng)格與身體和服飾幾何相交來(lái)計(jì)算。他們使用2D卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為外觀(guān)模型的架構(gòu)。網(wǎng)絡(luò)的所有輸入都將根據(jù)固定的UV映射轉(zhuǎn)換為2D要素貼圖。與編Codec Avatar的自動(dòng)編碼器結(jié)構(gòu)不同，這三個(gè)部分中的每一部分都采用了U-Net架構(gòu)。所述架構(gòu)可以關(guān)注每個(gè)輸入位置周?chē)谋镜匦畔?，以學(xué)習(xí)可泛化的外觀(guān)函數(shù)。

結(jié)果

他們使用基于GPU的服飾模擬器和基于擴(kuò)展位置的動(dòng)力學(xué)公式。在9k個(gè)頂點(diǎn)的身體序列之上模擬35k個(gè)頂點(diǎn)服飾時(shí)，模擬解算器每幀的平均運(yùn)行時(shí)間在8ms之間，在Nvidia Tesla V100 GPU上每幀執(zhí)行20步時(shí)為10毫秒。對(duì)于部署，他們使用PyTorch實(shí)時(shí)（JIT）編譯來(lái)提高性能。在Lambda工作站的Nvidia RTX 3090 GPU上，這兩個(gè)模塊組合在一起的平均運(yùn)行時(shí)間為78毫秒。他們使用多個(gè)GPU來(lái)并行化推理。例如，可以用3個(gè)GPU并行實(shí)現(xiàn)>30 fps。補(bǔ)充視頻展示了在VR頭顯中查看動(dòng)畫(huà)序列的演示。其中，服飾模擬是預(yù)先計(jì)算，而身體Avatar和服飾外觀(guān)是實(shí)時(shí)渲染。盡管目前分別運(yùn)行服飾模擬器和神經(jīng)網(wǎng)絡(luò)，但考慮到三個(gè)模塊中每個(gè)模塊的計(jì)算量不大，所述管道有潛力集成到一個(gè)完整的實(shí)時(shí)在線(xiàn)系統(tǒng)之中。

局限

團(tuán)隊(duì)展示了高效的全身穿衣Avatar，其具有物理上看似合理的動(dòng)力學(xué)和照片級(jí)的外觀(guān)。所述方法實(shí)現(xiàn)了動(dòng)態(tài)服飾幾何體的高保真配準(zhǔn)，并基于配準(zhǔn)的幾何體學(xué)習(xí)深度服裝外觀(guān)模型進(jìn)行訓(xùn)練。在測(cè)試時(shí)，服飾通過(guò)基于物理的模擬變形，并通過(guò)外觀(guān)模型進(jìn)行渲染。為了彌補(bǔ)訓(xùn)練時(shí)追蹤服飾幾何和測(cè)試時(shí)模擬服飾幾何體之間的差距，他們?cè)O(shè)計(jì)了一個(gè)輸入表示和一個(gè)由三個(gè)模塊組成的架構(gòu)。一旦一件服飾被建模，系統(tǒng)就可以用它來(lái)打扮一個(gè)新的Avatar。

然而，服飾存在非常的幾何和外觀(guān)變化空間。盡管所述方法處理單層寬松衣服的效果比以前的研究要好得多，但在處理極寬松服飾的大褶皺時(shí)可能會(huì)有困難，例如和服等內(nèi)層明顯被遮擋的多層服飾。另外，如果由于錯(cuò)誤的初始化和/或重復(fù)模式而導(dǎo)致特征匹配不準(zhǔn)確，光度配準(zhǔn)可能會(huì)失敗。

另外，由于模擬的實(shí)時(shí)限制，基于物理的服飾模擬在處理高度復(fù)雜的手布交互時(shí)可能面臨挑戰(zhàn)。

盡管服飾外觀(guān)模型是使用僅為一個(gè)對(duì)象捕獲的數(shù)據(jù)進(jìn)行訓(xùn)練，但陰影分支在用于打扮新穎Avatar時(shí)顯示出合理的泛化能力，因?yàn)樗鼉H通過(guò)光線(xiàn)的遮擋間接地受到身體形狀的影響。然而，由于可獲得的最低著裝量數(shù)據(jù)有限，所述模型如何適用于極端體型尚未得到測(cè)試。對(duì)不同服飾和身份的陰影進(jìn)行系統(tǒng)研究是一個(gè)有趣的未來(lái)方向。另外，研究人員不考慮服飾和身體之間，以及衣服褶皺之間照明的復(fù)雜相互反射。

他們?cè)诮o新Avatar穿衣時(shí)同樣假設(shè)了一致的照明條件。當(dāng)假設(shè)不成立時(shí)，會(huì)觀(guān)察到輕微的不一致。未來(lái)，他們希望通過(guò)將重新照明功能與更新的捕獲設(shè)置結(jié)合到Avatar和服飾模型中，從而環(huán)節(jié)這一限制。

相關(guān)論文：

Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing

https://paper.nweon.com/13171

總而言之，這一研究的貢獻(xiàn)如下：

展示了可設(shè)置動(dòng)畫(huà)的穿衣Avatar，其具有數(shù)據(jù)驅(qū)動(dòng)的照片級(jí)真實(shí)感外觀(guān)和來(lái)自模擬的物理真實(shí)感服飾動(dòng)態(tài)；

開(kāi)發(fā)了一個(gè)深度服飾外觀(guān)模型，可生成照片級(jí)真實(shí)感的服飾外觀(guān)。這一模型彌補(bǔ)了訓(xùn)練用追蹤服飾幾何圖形和測(cè)試時(shí)模擬服飾幾何圖形之間的泛化差距；

動(dòng)畫(huà)系統(tǒng)進(jìn)一步實(shí)現(xiàn)了不同主體之間的服飾轉(zhuǎn)換以及服飾尺寸的編輯。在實(shí)驗(yàn)中，團(tuán)隊(duì)通過(guò)設(shè)置多種特征和服飾類(lèi)型的動(dòng)畫(huà)來(lái)評(píng)估方法的有效性，并對(duì)現(xiàn)有技術(shù)進(jìn)行全面的定性和定量比較。

關(guān)鍵詞： Meta研究為Avatar設(shè)計(jì)合成逼真自然的穿衣服飾效果