全球微頭條丨AI畫圖實(shí)例：如何用Stable Diffusion創(chuàng)作游戲場景？

自打生成型AI技術(shù)一面世，游戲圈的無數(shù)雙眼睛立刻就盯上了AI畫圖技術(shù)中所蘊(yùn)含的無窮潛力。目前，各家大廠都在加緊對AI畫圖技術(shù)進(jìn)行試驗(yàn)，試圖快速將AI畫圖融入游戲開發(fā)管線之中。來自民間愛好者的努力也不容忽視。在各大技術(shù)論壇，如今隨處都可找到來自愛好者和大神們分享的AI畫圖應(yīng)用實(shí)例和教學(xué)。

GameLook近期瀏覽AI畫圖案例時(shí)，發(fā)現(xiàn)了一名開發(fā)者發(fā)表的兩則技術(shù)博客。這位名叫Syn的開發(fā)者正在開發(fā)一款名為《Tales of Syn》的等距視角獨(dú)立游戲，且一直在嘗試將AI工具融入開發(fā)流程。在Syn的努力之下，他已經(jīng)實(shí)現(xiàn)了利用Stable Diffusion生成的圖像制作游戲的地圖。

GameLook摘取了開發(fā)者Syn分享的兩則技術(shù)案例進(jìn)行了編譯：

(資料圖片)

案例一：利用谷歌地圖圖像制作風(fēng)格化游戲地圖

第一個(gè)案例較為簡單，主要展示了利用DreamBooth訓(xùn)練Stable Diffusion模型的方法。

Syn首先使用了一系列鏡頭預(yù)設(shè)，從谷歌地球的航拍圖像中獲取了一系列近似于等距視角的城市景觀圖片，并制作成8張分辨率512*512的圖片文件。

隨后，他利用Dreambooth和1.5版本的Stable Diffusion，在一張RTX 3090Ti顯卡上進(jìn)行訓(xùn)練。采用3000步和默認(rèn)的1e-06參數(shù)進(jìn)行學(xué)習(xí)。學(xué)習(xí)效果相當(dāng)不錯(cuò)。盡管由于源文件分辨率的原因，圖片的細(xì)節(jié)較為雜亂和模糊，但AI成功復(fù)現(xiàn)了等距視角和城市的景觀。

隨后，他利用WebUI Automatic1111，嘗試對輸入的文字prompt和權(quán)重比例進(jìn)行調(diào)整，并輸入了不同的風(fēng)格指令，成功制作出不同藝術(shù)風(fēng)格的等距視角圖片文件。

案例二：從AI畫圖到地圖關(guān)卡——完整工作流

相較案例一，案例二則更加復(fù)雜。Syn展示了多工具協(xié)同之下，從Stable Diffusion圖片生成到最終偽3D關(guān)卡文件的開發(fā)全流程。Syn展示了最終的制作成果。盡管生成自2D圖像，但最終結(jié)果已經(jīng)頗有3D的神韻。

Syn利用下圖所示的文字Prompt，輸出了一系列賽博朋克未來風(fēng)格的圖片。

進(jìn)入WebUI Automatic1111，利用按照不同的CFG Scale和步數(shù)進(jìn)行了實(shí)驗(yàn)性生成。

將圖片送入Photoshop進(jìn)行編輯，并利用Stable Diffusion插件Alpaca對圖片進(jìn)行了拓展。

清理圖片背景，使用img2img對圖片進(jìn)行兩倍分辨率渲染，獲得更多細(xì)節(jié)。

完整的圖片文件分辨率為2048*2048，同樣使用Alpaca插件進(jìn)行分區(qū)生成并進(jìn)行組合式合成。對于接縫處的圖像需要進(jìn)行多次解析才能取得比較順滑的視覺效果。

Syn希望去除這張圖片中的燈光，并利用自定義的Unity著色器進(jìn)行燈光設(shè)置。為達(dá)到這一目的，他利用Boosting Monocular Depth的MiDaS和LeRes生成該圖片的深度圖。

利用Substance Designer工具的Height to Normal World Units節(jié)點(diǎn)生成普通映射圖，再使用Normal Blend節(jié)點(diǎn)將普通映射圖和深度圖進(jìn)行結(jié)合，最后使用Photoshop進(jìn)行上色處理。

處理結(jié)果不算完美，但很接近一個(gè)3D場景該有的光照效果，并可在Unity中進(jìn)行調(diào)整。

Syn嘗試了Normal Mapping Shadows的手法，在2D場景中實(shí)現(xiàn)光照和陰影效果。最終的效果不算很理想，但Syn后續(xù)可能會將其進(jìn)行進(jìn)一步實(shí)驗(yàn)并使用在3D角色身上。

關(guān)鍵詞：