阿里50億參數(shù)AI畫畫模型火了！圖像拆分再自由重組，達(dá)摩院副院長等打造-世界今日訊

明敏 發(fā)自 凹非寺

(資料圖)

量子位 | 公眾號 QbitAI

AI畫畫通用模型，新增一員大將！

由阿里達(dá)摩院副院長周靖人等人打造的可控擴(kuò)散模型Composer，一經(jīng)發(fā)布就小火了一把。

這個模型由50億參數(shù)訓(xùn)練而來，和Stable Diffusion原理不同。

它更進(jìn)一步把訓(xùn)練圖像拆解成了多個元素，然后基于這些元素訓(xùn)練擴(kuò)散模型，讓它們能夠靈活組合。

由此一來，模型的創(chuàng)造能力就比僅基于圖像大很多。

如果有100張能拆分成8個元素的圖像，那么就能生成一個數(shù)量為100的8次方的結(jié)果組合。

網(wǎng)友們看了紛紛表示，AI畫畫發(fā)展速度也太快了！

團(tuán)隊表示，模型的訓(xùn)練和推理代碼都在路上了。

有限手段的無限使用

該框架的核心思想是組合性（compositionality），模型名字就叫做Composer。

觀察到現(xiàn)下很多AI畫畫模型，在細(xì)節(jié)的可控性上還沒有做到很好，比如準(zhǔn)確改變顏色、形狀等。

研究團(tuán)隊認(rèn)為，想要實現(xiàn)圖像的可控生成，不能依賴于對模型的調(diào)節(jié)，重點應(yīng)該放在組合性上，這種方式可以將圖像的創(chuàng)造力提升到指數(shù)級。

引用語言學(xué)大師諾姆·喬姆斯基的經(jīng)典語錄來解釋模型，就是：

有限手段的無限使用。

具體來看，該模型就是將每個訓(xùn)練圖像拆解成一系列基礎(chǔ)元素，如蒙版圖、草稿圖、文字描述等，用它們來訓(xùn)練一個擴(kuò)散模型。

然后讓這些被拆分的元素，在推理階段靈活組合，生成大量新的圖像輸出。

它可以支持多種形式作為輸入。比如文字描述作為全局信息，深度圖和草圖作為局部引導(dǎo)，顏色直方圖為低級細(xì)節(jié)等。

在保證生成圖像可控的基礎(chǔ)上，作為一個通用框架，該模型還能不用再訓(xùn)練就可以完成大量經(jīng)典生成任務(wù)。

舉例來看，圖（a）中，最左邊的是原圖，后面4個是通過對Composer不同子集的表示進(jìn)行調(diào)節(jié)而生成的新結(jié)果。

圖（b）展示的是圖像插值的結(jié)果。

圖像重構(gòu)的話是醬嬸兒的，Composer能夠簡單地改變圖像表示來重新配置圖像，比如草稿圖和分割圖。

還有對圖像的特定部分進(jìn)行編輯。

比如給蛋糕派換口味、把珍珠耳環(huán)少女的臉換成梵高、讓兔子長一張熊貓臉等。

比較經(jīng)典的圖像生成任務(wù)也能挑戰(zhàn)，而且無需再訓(xùn)練。

團(tuán)隊表示，現(xiàn)有成果還存在一定局限性，比如在單一條件輸入的情況下，生成效果不是很好。以及輸入不同語義的圖像和文本嵌入時，生成結(jié)果會降低對文本嵌入的權(quán)重。

而針對AI畫畫模型都需要面對的風(fēng)險問題，團(tuán)隊表示為避免被濫用，他們會在公開模型前先創(chuàng)建一個過濾版本。

達(dá)摩院副院長帶隊

該研究由阿里及螞蟻團(tuán)隊完成。

通訊作者為周靖人。

他現(xiàn)任阿里達(dá)摩院副院長、阿里云智能CTO，是IEEE Fellow。

2004年于哥倫比亞大學(xué)獲得計算機(jī)博士學(xué)位，后加入微軟擔(dān)任研發(fā)合伙人。

2015年，周靖人加入阿里巴巴集團(tuán)，先后負(fù)責(zé)過達(dá)摩院智能計算實驗室、大數(shù)據(jù)智能計算平臺、搜索推薦事業(yè)部等。

論文一作Huang Lianghua同樣來自達(dá)摩院，研究方向為擴(kuò)大模型規(guī)模和數(shù)據(jù)來表示學(xué)習(xí)和內(nèi)容生成。

論文地址：

https://arxiv.org/abs/2302.09778

GitHub地址：

https://github.com/damo-vilab/composer

關(guān)鍵詞： 阿里50億參數(shù)AI畫畫模型火了圖像拆分再自由重組 達(dá)摩院副院長等打造 阿里巴巴