(資料圖)
(CWW)2022年11月9日,OPPO語音語義研究部融智團(tuán)隊提出的中文預(yù)訓(xùn)練大模型CHAOS ,在中文自然語言理解測評基準(zhǔn)CLUE上登頂,以30億參量同時刷新了CLUE總排行榜、CLUE分類任務(wù)排行榜和CLUE閱讀理解排行榜的最好成績。其中在“AFQMC,TNEWS,CSL,CHID1.1”4個賽道的成績超過了人類識別精確準(zhǔn)確度,總成績距離超越人類表現(xiàn)僅差0.1。
同期,在業(yè)界首個大規(guī)模中文多模態(tài)評測基準(zhǔn)MUGE上,該團(tuán)隊自主訓(xùn)練的中文多模態(tài)預(yù)訓(xùn)練模型也在綜合“圖文檢索、看圖說話、文本到圖像生成”三個賽道的總成績上位列總榜第一名。
OPPO中文預(yù)訓(xùn)練大模型CHAOS登頂CLUE
OPPO中文多模態(tài)預(yù)訓(xùn)練模型登頂MUGE
CLUE(Chinese Language Understanding Evaluation)是中文自然語言理解最權(quán)威測評榜單之一,包含了文本分類、閱讀理解、句間關(guān)系等眾多語義分析和語義理解類子任務(wù),旨在推動NLP(自然語言處理)訓(xùn)練模型技術(shù)的不斷進(jìn)步和突破,對學(xué)術(shù)界和工業(yè)界都產(chǎn)生了較大的影響。
MUGE(Multimodal Understanding and Generation Evaluation)是業(yè)界首個大規(guī)模中文多模態(tài)評測基準(zhǔn),由達(dá)摩院聯(lián)合浙江大學(xué)、阿里云天池平臺聯(lián)合發(fā)布,中國計算機(jī)學(xué)會計算機(jī)視覺專委會(CCF-CV專委)協(xié)助推出,旨在幫助中文多模態(tài)研究人員全方位評估算法模型。
NLP(自然語言處理)技術(shù)是人工智能領(lǐng)域的一個核心研究方向,其目的是使得計算機(jī)具備人類的聽、說、讀、寫等能力,并利用知識和常識進(jìn)行推理和決策。而圖文融合的多模態(tài)能力的建設(shè),目前工作主要集中在建立圖像模態(tài)和文本模態(tài)的聯(lián)系,相關(guān)能力的構(gòu)建能夠廣泛落地到搜索、推薦、服飾設(shè)計、智能文案等真實(shí)場景中。
“融合多種智能,研發(fā)統(tǒng)一的基礎(chǔ)模型”是OPPO語音語義研究部融智團(tuán)隊的目標(biāo),也是“融智”二字的含義。未來融智團(tuán)隊將在推進(jìn)感知認(rèn)知融合,更可控/可編輯的視覺生成,及促進(jìn)工業(yè)化落地轉(zhuǎn)化的模型小型化等方向上繼續(xù)突破。