國際AI頂會CVPR季軍!天翼云AI團隊在情感識別任務中實現(xiàn)新突破|今日關注

發(fā)布時間:2023-03-28 15:42:34  |  來源:通信世界全媒體  


(資料圖)

近日,國際人工智能頂會CVPR2023舉辦的第5屆自然場景情感行為分析挑戰(zhàn)賽(5th Workshop and Competition on Affective Behavior Analysis in-the-wild,簡稱ABAW)公布比賽結(jié)果,天翼云AI團隊(CtyunAI)在情感分類任務中表現(xiàn)出色,憑借極高的性能指標榮獲本屆大賽季軍。

據(jù)了解,CVPR會議是由IEEE主辦的關于計算機視覺和模式識別的國際學術會議,收錄了該領域最新的研究成果和技術發(fā)展,是全球計算機視覺三大頂級會議之一。

ABAW競賽是由國際頂級計算機視覺研究者和科學家們共同發(fā)起的競賽,致力于解決自然情境下計算機對人的情感行為進行分析的問題,并以此提升人機交互系統(tǒng)的場景應用能力,目標是創(chuàng)造出能夠理解人的感覺、情緒和行為的機器和機器人,從而讓機器能夠以“以人為本” 的方式與人類互動,并有效地作為人類的數(shù)字助手。

比賽共吸引了來自世界各地的100多支團隊參加,其中不乏業(yè)內(nèi)知名的機構(gòu)和公司,如網(wǎng)易、思圖等。參賽隊伍需要對來源于現(xiàn)實場景的594個視頻共300萬幀圖像進行分析,通過視頻中的圖像、人物、聲音來預測指定人物在連續(xù)時間下的情感。

相較上屆競賽,本屆競賽的數(shù)據(jù)標簽極度不平衡且標簽噪聲多,給參賽隊伍帶來了一定挑戰(zhàn)。由于現(xiàn)實世界的環(huán)境不受條件控制,所以競賽所使用的視頻數(shù)據(jù)相較往屆呈現(xiàn)更加多樣的視頻錄制條件、背景和顯示方式。同時,為了考驗算法對不同拍攝環(huán)境、不同人群等情況的適應能力(遷移學習能力),競賽數(shù)據(jù)的樣本分布極不均衡,也增加了競賽難度。

天翼云AI團隊在本次競賽中使用了多模態(tài)融合技術,通過不同模型同時提取視頻的圖像和音頻特征,將這些特征進行融合后利用時域卷積網(wǎng)絡(Temporal Convolutional Network,TCN)和Transformer對數(shù)據(jù)在時間維度上進行建模,從而使模型能夠通過視頻的上下文對結(jié)果進行預測,大大提升了模型的任務表現(xiàn)。在情感識別任務中,該模型針對人類的六個基本情感(快樂、厭惡、悲傷、憤怒、驚奇、恐懼),以及中立情感進行識別,實現(xiàn)了F1-score超過0.35的好成績。

本次天翼云AI團隊能夠在競爭激烈的ABAW競賽中取得優(yōu)異成績,得益于天翼云多年來在圖像、音頻及多模態(tài)領域的深厚積累和不斷創(chuàng)新。通過在更廣闊的人工智能領域中繼續(xù)研究和探索,天翼云致力于以更先進的技術和更優(yōu)秀的成果回報社會和用戶,將有助于推動千行百業(yè)共享數(shù)字化發(fā)展成果。


關鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號:京ICP備2022016840號-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com