教AI主播“說(shuō)”手語(yǔ) 他們讓更多人“聽(tīng)見(jiàn)”冬奧

新華社天津2月18日電（記者白佳麗、宋瑞）對(duì)聽(tīng)障人士來(lái)說(shuō)，激烈的賽事往往只能被看見(jiàn)，卻無(wú)法被聽(tīng)見(jiàn)。而今年的北京冬奧會(huì)上，不少聽(tīng)障人士發(fā)現(xiàn)，賽事新聞中出現(xiàn)了一名面容清秀的冬奧新聞AI主播，“她”精準(zhǔn)的手語(yǔ)手勢(shì)讓聽(tīng)障人士與健聽(tīng)人（聽(tīng)力健全人的簡(jiǎn)稱）一樣，可以同步感受冰雪運(yùn)動(dòng)的魅力。

“用技術(shù)跨越聲音的障礙，讓聽(tīng)障人士‘聽(tīng)見(jiàn)’冬奧?！碧旖蚶砉ご髮W(xué)聾人工學(xué)院副院長(zhǎng)、冬奧新聞AI主播的手語(yǔ)數(shù)據(jù)庫(kù)支持團(tuán)隊(duì)負(fù)責(zé)人袁甜甜說(shuō)。

海報(bào)制作：方金洋

用6年時(shí)間搭一座“溝通的橋”

袁甜甜身上，有股堅(jiān)持到底的韌勁。

她帶領(lǐng)團(tuán)隊(duì)用6年時(shí)間，為聽(tīng)障人士搭建了一座與健聽(tīng)人無(wú)障礙溝通的“橋梁”。并在北京冬奧會(huì)上，邁出了落地應(yīng)用的“第一步”。

“我們研發(fā)了一套系統(tǒng)，叫作‘復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)’，這套系統(tǒng)能將輸入的手語(yǔ)動(dòng)作和表情經(jīng)由計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別后翻譯成文字或語(yǔ)音。為此，我們共收集了20多萬(wàn)條語(yǔ)料?！痹鹛鹫f(shuō)。

談到做這件事的初衷，袁甜甜表示是為了與聽(tīng)障學(xué)生更好地交流。

天津理工大學(xué)聾人工學(xué)院學(xué)生通過(guò)手機(jī)App為手語(yǔ)識(shí)別系統(tǒng)進(jìn)行數(shù)據(jù)采集。新華社記者 孫凡越 攝

“我16年前來(lái)到學(xué)院當(dāng)老師，與聽(tīng)障學(xué)生接觸的過(guò)程中，發(fā)現(xiàn)他們最渴望也最懼怕的就是與健聽(tīng)人交流。因?yàn)橛芯W(wǎng)絡(luò)專業(yè)背景，于是我決心通過(guò)技術(shù)改變這種現(xiàn)狀?！痹鹛鹫f(shuō)。

從一個(gè)人摸索，到僅有一名聽(tīng)障學(xué)生加入，再到成立無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)。如今，這支由健聽(tīng)人與聽(tīng)障人士組成的“特殊”技術(shù)團(tuán)隊(duì)，核心成員達(dá)50多人，其中不少是“00后”聽(tīng)障學(xué)生。

隨著團(tuán)隊(duì)的發(fā)展壯大，技術(shù)難關(guān)也被層層攻破。“目前，我們實(shí)現(xiàn)了在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語(yǔ)的識(shí)別率最高達(dá)95%，部分場(chǎng)景下可以實(shí)現(xiàn)‘同步翻譯’?！痹鹛鹱院赖匮a(bǔ)充，“只要在攝像頭前打出手語(yǔ)，顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯?，F(xiàn)在已經(jīng)可以用于教育、法律咨詢、餐飲、交通多個(gè)場(chǎng)景?！?/p>

讓聽(tīng)障人士“聽(tīng)見(jiàn)”冬奧

2021年11月，袁甜甜接到一個(gè)緊急任務(wù)——教冬奧新聞AI主播“說(shuō)”手語(yǔ)。

“人工智能深度學(xué)習(xí)的過(guò)程，就像教小孩子學(xué)說(shuō)話，每一個(gè)詞、每一個(gè)手語(yǔ)動(dòng)作都需要重復(fù)‘學(xué)習(xí)’才能實(shí)現(xiàn)精準(zhǔn)無(wú)誤?！痹鹛鹋c同伴們開(kāi)始一一攻克難題。

第一時(shí)間參與其中的聾人工學(xué)院教師閔笛對(duì)這一過(guò)程深有體會(huì)。“一個(gè)字‘難’。”他說(shuō)。

首先擺在面前的，就是“冷門”的冬奧詞匯，以及專業(yè)新聞?wù)Z言，怎么才能轉(zhuǎn)換為大多數(shù)聽(tīng)障人士能看懂的手語(yǔ)？

團(tuán)隊(duì)成員先把整理出的新詞形成一定的手語(yǔ)打法，再讓手語(yǔ)專家一一判定聽(tīng)障人士能否看懂。遇到難用手語(yǔ)表示的詞匯時(shí)，還需多番討論。“每個(gè)詞至少要經(jīng)歷這樣兩個(gè)來(lái)回，就這樣我們共新增了1000多個(gè)專業(yè)詞匯的手語(yǔ)打法。”閔笛說(shuō)。

有了過(guò)去20多萬(wàn)條語(yǔ)料做基礎(chǔ)，又增加了新的專業(yè)詞匯，本以為工作已接近完成。但很快大家發(fā)現(xiàn)，手語(yǔ)語(yǔ)序與普通人說(shuō)話語(yǔ)序并不相同，即便把這些詞匯通通“灌輸”給AI主播，也無(wú)法打出連貫的、聽(tīng)障人士能夠理解的語(yǔ)句。

“我們通過(guò)多年積累的技術(shù)經(jīng)驗(yàn)，讓AI主播逐步掌握從普通人語(yǔ)言到手語(yǔ)的流暢直譯，并不斷調(diào)試AI主播手語(yǔ)速度，讓聽(tīng)障人士能夠更清晰地理解?！遍h笛說(shuō)。

用技術(shù)破解更多“52赫茲”的密碼

今年22歲的王曉陽(yáng)，是聾人工學(xué)院大三的學(xué)生。作為一名聽(tīng)障學(xué)生，他參與了冬奧新聞AI主播“學(xué)習(xí)”手語(yǔ)的全過(guò)程。從冬奧會(huì)開(kāi)幕那天起，他每天都會(huì)準(zhǔn)時(shí)打開(kāi)手機(jī)“盯著”AI主播的每一個(gè)手語(yǔ)手勢(shì)。

“就怕她沒(méi)學(xué)好，怕她出錯(cuò)！”王曉陽(yáng)用手語(yǔ)解釋。但令他欣慰的是，越來(lái)越多聽(tīng)障朋友發(fā)來(lái)信息，告訴他AI主播的手語(yǔ)“看得清楚、清晰”?！笆终Z(yǔ)打得很漂亮，我們?yōu)樽约候湴痢！币慌缘耐瑢W(xué)魏翔羽用手語(yǔ)補(bǔ)充。

天津理工大學(xué)聾人工學(xué)院學(xué)生在進(jìn)行手語(yǔ)識(shí)別系統(tǒng)調(diào)試。新華社記者 孫凡越 攝

技術(shù)越過(guò)聲音的障礙，讓更多聽(tīng)障人士走向更廣闊的世界。

“信息技術(shù)對(duì)我們幫助很大。”王曉陽(yáng)用手語(yǔ)說(shuō)，以前與健聽(tīng)人交流，他總覺(jué)得不安，有了這些技術(shù)手段，讓他更有勇氣融入社會(huì)?！耙院笪蚁氘?dāng)老師，因?yàn)槲业募亦l(xiāng)缺少聾人老師?；蛘呶胰ギ?dāng)程序員，用技術(shù)讓更多人聾人‘聽(tīng)見(jiàn)’。”

對(duì)袁甜甜來(lái)說(shuō)，還有很多工作等著她帶領(lǐng)團(tuán)隊(duì)完成?！拔覀儗⒉粩嗟?jí)我們的系統(tǒng)，直到它能夠在各種場(chǎng)景下讓聽(tīng)障人士與我們流暢交流?！?/p>

袁甜甜講了一個(gè)“52赫茲鯨”的故事——海洋中，有只叫聲頻率與眾不同的鯨魚，因無(wú)法與同類交流而孤獨(dú)。這只鯨魚很像聽(tīng)障群體，“我們要去破解‘52赫茲’的密碼，用技術(shù)把孤獨(dú)的鯨魚與其他鯨魚連起，讓它們獲得更多機(jī)會(huì)與幸福?！?/p>

關(guān)鍵詞： 他們讓更多人聽(tīng)見(jiàn)冬奧