明敏 發(fā)自 凹非寺
(資料圖)
量子位 | 公眾號 QbitAI
AI畫畫通用模型,新增一員大將!
由阿里達(dá)摩院副院長周靖人等人打造的可控擴(kuò)散模型Composer,一經(jīng)發(fā)布就小火了一把。
這個模型由50億參數(shù)訓(xùn)練而來,和Stable Diffusion原理不同。
它更進(jìn)一步把訓(xùn)練圖像拆解成了多個元素,然后基于這些元素訓(xùn)練擴(kuò)散模型,讓它們能夠靈活組合。
由此一來,模型的創(chuàng)造能力就比僅基于圖像大很多。
如果有100張能拆分成8個元素的圖像,那么就能生成一個數(shù)量為100的8次方的結(jié)果組合。
網(wǎng)友們看了紛紛表示,AI畫畫發(fā)展速度也太快了!
團(tuán)隊表示,模型的訓(xùn)練和推理代碼都在路上了。
有限手段的無限使用
該框架的核心思想是組合性(compositionality),模型名字就叫做Composer。
觀察到現(xiàn)下很多AI畫畫模型,在細(xì)節(jié)的可控性上還沒有做到很好,比如準(zhǔn)確改變顏色、形狀等。
研究團(tuán)隊認(rèn)為,想要實現(xiàn)圖像的可控生成,不能依賴于對模型的調(diào)節(jié),重點應(yīng)該放在組合性上,這種方式可以將圖像的創(chuàng)造力提升到指數(shù)級。
引用語言學(xué)大師諾姆·喬姆斯基的經(jīng)典語錄來解釋模型,就是:
有限手段的無限使用。
具體來看,該模型就是將每個訓(xùn)練圖像拆解成一系列基礎(chǔ)元素,如蒙版圖、草稿圖、文字描述等,用它們來訓(xùn)練一個擴(kuò)散模型。
然后讓這些被拆分的元素,在推理階段靈活組合,生成大量新的圖像輸出。
它可以支持多種形式作為輸入。比如文字描述作為全局信息,深度圖和草圖作為局部引導(dǎo),顏色直方圖為低級細(xì)節(jié)等。
在保證生成圖像可控的基礎(chǔ)上,作為一個通用框架,該模型還能不用再訓(xùn)練就可以完成大量經(jīng)典生成任務(wù)。
舉例來看,圖(a)中,最左邊的是原圖,后面4個是通過對Composer不同子集的表示進(jìn)行調(diào)節(jié)而生成的新結(jié)果。
圖(b)展示的是圖像插值的結(jié)果。
圖像重構(gòu)的話是醬嬸兒的,Composer能夠簡單地改變圖像表示來重新配置圖像,比如草稿圖和分割圖。
還有對圖像的特定部分進(jìn)行編輯。
比如給蛋糕派換口味、把珍珠耳環(huán)少女的臉換成梵高、讓兔子長一張熊貓臉等。
比較經(jīng)典的圖像生成任務(wù)也能挑戰(zhàn),而且無需再訓(xùn)練。
團(tuán)隊表示,現(xiàn)有成果還存在一定局限性,比如在單一條件輸入的情況下,生成效果不是很好。以及輸入不同語義的圖像和文本嵌入時,生成結(jié)果會降低對文本嵌入的權(quán)重。
而針對AI畫畫模型都需要面對的風(fēng)險問題,團(tuán)隊表示為避免被濫用,他們會在公開模型前先創(chuàng)建一個過濾版本。
達(dá)摩院副院長帶隊
該研究由阿里及螞蟻團(tuán)隊完成。
通訊作者為周靖人。
他現(xiàn)任阿里達(dá)摩院副院長、阿里云智能CTO,是IEEE Fellow。
2004年于哥倫比亞大學(xué)獲得計算機(jī)博士學(xué)位,后加入微軟擔(dān)任研發(fā)合伙人。
2015年,周靖人加入阿里巴巴集團(tuán),先后負(fù)責(zé)過達(dá)摩院智能計算實驗室、大數(shù)據(jù)智能計算平臺、搜索推薦事業(yè)部等。
論文一作Huang Lianghua同樣來自達(dá)摩院,研究方向為擴(kuò)大模型規(guī)模和數(shù)據(jù)來表示學(xué)習(xí)和內(nèi)容生成。
論文地址:
https://arxiv.org/abs/2302.09778
GitHub地址:
https://github.com/damo-vilab/composer
關(guān)鍵詞: 阿里50億參數(shù)AI畫畫模型火了圖像拆分再自由重組 達(dá)摩院副院長等打造 阿里巴巴