研究人員設(shè)計(jì)出新型神經(jīng)網(wǎng)絡(luò)方法 可修復(fù)材料3D微觀掃描圖像

近日，俄羅斯斯科爾科沃科學(xué)技術(shù)研究院和比利時魯汶大學(xué)的研究人員設(shè)計(jì)出一種神經(jīng)網(wǎng)絡(luò)方法，可修復(fù)材料 3D 微觀掃描圖像。

在材料研究中，想要看清材料微觀結(jié)構(gòu)，就需要對其進(jìn)行掃描和成像，現(xiàn)有技術(shù)成像會出現(xiàn)圖像存在瑕疵的問題，所以需要進(jìn)行修復(fù)，研究人員設(shè)計(jì)的三種算法均能快速修復(fù)圖像，不過性能存在差異。

該研究論文題目為《基于深度學(xué)習(xí)的纖維材料的微計(jì)算機(jī)斷層掃描圖像修復(fù)(Inpainting micro-CT images of fibrous materials using deep learning)》，已發(fā)表在 Computational Materials Science 上。

一、Micro-CT 掃描圖像，常出現(xiàn)偽跡陰影等問題

微計(jì)算機(jī)斷層掃描(Micro-CT)技術(shù)在研究人員研究纖維增強(qiáng)復(fù)合材料和其他復(fù)雜材料的 3D 微觀結(jié)構(gòu)時，非常有用。

Micro-CT 是一種對物體掃描成像分析的技術(shù)，其分辨率可達(dá)幾微米，方便對三維物理對象進(jìn)行分析。但此技術(shù)存在局限性，當(dāng)樣本很小時，使用 Micro-CT 得到的圖像經(jīng)常有偽跡和陰影、缺失或損壞的區(qū)域。

為了解決此問題，研究人員從藝術(shù)領(lǐng)域汲取了靈感和專業(yè)知識。在藝術(shù)領(lǐng)域，損壞的畫作要求必須在修復(fù)的同時保持其整體完整性。因此，在數(shù)字圖像處理中，圖像修復(fù)/填充(inpainting)已經(jīng)成為一種常用技術(shù)。

研究的第一作者、斯科爾科沃科學(xué)技術(shù)研究院和魯汶大學(xué)博士米爾?卡拉莫夫(Radmir Karamov)說：“人工智能圖像修復(fù)(AI inpainting)的主要優(yōu)點(diǎn)是速度。有了訓(xùn)練過的模型，我們可以每秒處理 100 張圖像，如果讓人來做，需要的時間要長得多。”

他還談道：“計(jì)算機(jī)在處理 3D 圖像方面也非常出色，因?yàn)樗鼈儚乃拿姘朔蕉寄?lsquo;看到’圖像，并且可以立即重造整體。”

隨著圖像修復(fù)技術(shù)和深度學(xué)習(xí)技術(shù)的發(fā)展，特別是生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)的發(fā)展，有效地重建圖像缺少或損壞部分，或創(chuàng)建一個新的(部分)圖像成為可能。

但研究人員發(fā)現(xiàn)已有研究中缺乏關(guān)于處理 3DMicro-CT 圖像的技術(shù)。

二、研究人員根據(jù)質(zhì)量和性能要求設(shè)計(jì)出三種架構(gòu) GAN

研究人員使用 3D 編碼器-解碼器 GAN，來研究可用于 3DMicro-CT 圖像修復(fù)的工具。

他們解釋，復(fù)合材料中包含的增強(qiáng)體(如纖維)，在三維空間中隨機(jī)定向，這就是為什么人們必須使用 3D 圖像來表示這種復(fù)雜的內(nèi)部微觀結(jié)構(gòu)。

由于更傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)無法提供這項(xiàng)任務(wù)所需的精度，所以該團(tuán)隊(duì)改選了GAN(生成式對抗網(wǎng)絡(luò))。

卡拉莫夫談道：“在 GAN 中，研究人員不是通過訓(xùn)練單個神經(jīng)網(wǎng)絡(luò)來重建圖像，而是訓(xùn)練兩個相互競爭的網(wǎng)絡(luò)。生成網(wǎng)絡(luò)(generator network)試圖生成看上去像真的的假圖片，判別網(wǎng)絡(luò)(discriminator network)檢查圖片并試圖確定它們是真還是假的。”

他補(bǔ)充說：“正如 GAN 的發(fā)明人伊恩?古德費(fèi)羅(Ian Goodfellow)所說，你可以認(rèn)為這是造假者和警察之間的比賽，造假者想要制造看起來真實(shí)的假鈔，而警察想查看任一特定的鈔票，并判斷是否是假鈔。”

研究人員考慮算法對圖片的修復(fù)質(zhì)量，以及運(yùn)行會占用的 GPU 內(nèi)存情況，設(shè)計(jì)了具有三個(CNN3)、五個(CNN5)和七個(CNN7)卷積層的三種不同的 GAN 架構(gòu)，來修補(bǔ)丟失的數(shù)據(jù)。

這三個 GAN 中的判別網(wǎng)絡(luò)結(jié)構(gòu)相同，但生成網(wǎng)絡(luò)的可訓(xùn)練參數(shù)深度和數(shù)量不同。

三、訓(xùn)練后的 GAN 算法修復(fù)圖像耗時不超一秒

研究人員利用壓縮成型的短玻璃纖維增強(qiáng)熱塑性復(fù)合材料的圖像對所開發(fā)的算法進(jìn)行測試。圖像數(shù)據(jù)集(連續(xù)生成的)是基于分辨率為 4.4μm 的 300×300×900 pixel3 的 Micro-CT 圖像開發(fā)的。

神經(jīng)網(wǎng)絡(luò)分別針對 CNN7、CNN5、CNN3 模型訓(xùn)練了 24 小時或進(jìn)行了 234000、306000、428000 次迭代。在每個案例的訓(xùn)練過程中，MSE 誤差不斷減小，直到訓(xùn)練停止。訓(xùn)練后的算法模型完成圖像修復(fù)耗時不超 1 秒。

具有超過 6000 萬個可訓(xùn)練參數(shù)的最深神經(jīng)網(wǎng)絡(luò)(CNN7)修復(fù)完成的材料結(jié)構(gòu)圖片，其材料各向異性(anisotropy)程度的平均誤差約為 0.4%，方向張量(orientation tensor)的平均誤差約為 2%。

CNN5 和 CNN3 表現(xiàn)出較低的圖像修復(fù)精度和較高的物理指標(biāo)誤差，兩種算法誤差比 CNN7 高 2 倍。它們可以在數(shù)據(jù)集所熟悉的圖像中預(yù)測正確的纖維特征。

研究人員還比較了 GPU 內(nèi)存的消耗，CNN7 的高性能與其高 GPU 內(nèi)存占用形成對比，內(nèi)存消耗高達(dá) CNN3 的 17 倍。

CNN3 或 CNN5 等深度學(xué)習(xí)架構(gòu)更適合對結(jié)構(gòu)更一致的 Micro-CT 圖像進(jìn)行精確修復(fù)，而 CNN7 更適合隨機(jī)結(jié)構(gòu)的材料。

卡拉莫夫說：“通過修復(fù)算法，我們可以消除 Micro-CT 掃描圖像中的所有缺陷，更精確地模擬材料特性，并分析如果在制造過程中去除所有內(nèi)部孔隙和空隙，材料性能將如何提高。”

他補(bǔ)充道，修復(fù)算法只是新材料自動生成算法的第一步，這可以使科學(xué)家能夠根據(jù)特定應(yīng)用所需的特性設(shè)計(jì)材料。

結(jié)語：機(jī)器學(xué)習(xí)加速新材料出現(xiàn)

在材料研究中的材料數(shù)據(jù)收集、材料數(shù)據(jù)處理、材料數(shù)據(jù)分析等各個環(huán)節(jié)，都有了機(jī)器學(xué)習(xí)、人工智能等技術(shù)的身影出現(xiàn)。

新材料的開發(fā)與機(jī)器學(xué)習(xí)等技術(shù)聯(lián)系越發(fā)緊密，無論是新材料的開發(fā)還是新材料的尋找，這些技術(shù)都能幫助人類更快實(shí)現(xiàn)預(yù)期目標(biāo)。

關(guān)鍵詞： 研究人員 新型神經(jīng)網(wǎng)絡(luò) 材料 3D微觀 掃描圖像