從做“選擇題”到做“判斷題”，科大訊飛讓機(jī)器解鎖理解思考能力

近日，由科大訊飛承建的國(guó)內(nèi)首個(gè)認(rèn)知智能?chē)?guó)家重點(diǎn)實(shí)驗(yàn)室，以76.06%的成績(jī)登頂常識(shí)推理挑戰(zhàn)賽CommonsenseQA 2.0，刷新世界紀(jì)錄，在讓機(jī)器“能理解、會(huì)思考”上邁出一大步。

CommonsenseQA 2.0是艾倫人工智能研究院（Allen Institute for AI）于2021年主導(dǎo)發(fā)布的國(guó)際常識(shí)推理評(píng)測(cè)數(shù)據(jù)集，旨在評(píng)估機(jī)器對(duì)常識(shí)知識(shí)的理解及掌握水平，吸引了包括Allen Institute for AI、華盛頓大學(xué)等眾多國(guó)際頂尖機(jī)構(gòu)參與挑戰(zhàn)。科大訊飛首次參賽，即創(chuàng)新性地提出ACROSS模型，以全新深度學(xué)習(xí)算法絕對(duì)優(yōu)勢(shì)，刷新機(jī)器常識(shí)推理水平世界紀(jì)錄。

當(dāng)前，典型的閱讀理解模型所關(guān)注的問(wèn)題類(lèi)型主要是事實(shí)類(lèi)問(wèn)題，這類(lèi)型的問(wèn)題答案往往能直接在原文中找到，然而如何基于常識(shí)和背景知識(shí)進(jìn)行推理以獲得答案是一個(gè)巨大的挑戰(zhàn)。

該大賽正是為了訓(xùn)練機(jī)器像人一樣，基于先驗(yàn)知識(shí)結(jié)合現(xiàn)實(shí)情況作答能力而設(shè)置的數(shù)據(jù)集。比如，當(dāng)被問(wèn)到：“我可以站在河上的什么地方看水流而不會(huì)弄濕自己？”這種知識(shí)對(duì)人類(lèi)而言似乎很好理解，但是如何讓機(jī)器學(xué)會(huì)常識(shí)及背景知識(shí)并進(jìn)行準(zhǔn)確推理，仍然是一個(gè)巨大的挑戰(zhàn)。

據(jù)了解，CommonsenseQA 2.0是一個(gè)二元分類(lèi)數(shù)據(jù)集，包含14343個(gè)問(wèn)題，主要分為訓(xùn)練、開(kāi)發(fā)、測(cè)試集，需要判斷常識(shí)性陳述是對(duì)還是錯(cuò)。1.0版本所考察的問(wèn)題，是基于現(xiàn)有常識(shí)知識(shí)庫(kù)ConceptNet中的知識(shí)三元組構(gòu)建的，這使得機(jī)器在處理該任務(wù)時(shí)，有能直接聚焦參考的知識(shí)。

相比較1.0的“選擇題”，2.0“判斷題”挑戰(zhàn)難度更高，僅給定一個(gè)主題實(shí)體或概念、一個(gè)常識(shí)類(lèi)關(guān)系，讓人類(lèi)以自然語(yǔ)言的方式去構(gòu)造機(jī)器較難掌握的常識(shí)知識(shí)。

該構(gòu)造方法所構(gòu)造的常識(shí)推理問(wèn)題具有龐大的想象空間，大部分在當(dāng)前知識(shí)庫(kù)中并未覆蓋，這無(wú)疑顯著增加了機(jī)器處理該類(lèi)問(wèn)題的難度。目前以科大訊飛為代表的中國(guó)人工智能力量在常識(shí)推理領(lǐng)域中已有很大的進(jìn)步，但是仍遠(yuǎn)低于人類(lèi)94.1%的水平，可見(jiàn)在常識(shí)性推理方向仍有很大挑戰(zhàn)和進(jìn)步空間。

本次由科大訊飛承建的認(rèn)知智能?chē)?guó)家重點(diǎn)實(shí)驗(yàn)室團(tuán)隊(duì)，創(chuàng)新提出的面向常識(shí)知識(shí)推理的ACROSS（Automatic Commonsense Reasoning on Semantic Spaces）模型，該模型實(shí)現(xiàn)了統(tǒng)一語(yǔ)義空間下外部知識(shí)的有效融合，顯著改進(jìn)了超大規(guī)模預(yù)訓(xùn)練模型所存在的問(wèn)題，在CommonsenseQA 2.0任務(wù)上取得76%的準(zhǔn)確率。

該評(píng)測(cè)的常識(shí)推理問(wèn)題，不論在ConceptNet等知識(shí)庫(kù)，或者互聯(lián)網(wǎng)上，都較難找到直接的答案。從人類(lèi)進(jìn)行常識(shí)知識(shí)運(yùn)用及推理的習(xí)慣出發(fā)，對(duì)于一個(gè)復(fù)雜的問(wèn)題，首先需要查閱相關(guān)知識(shí)庫(kù)或典籍，其次會(huì)借助互聯(lián)網(wǎng)搜索去查找相關(guān)信息。ACROSS模型正是借鑒該思路，充分收集知識(shí)庫(kù)、互聯(lián)網(wǎng)相關(guān)信息，在統(tǒng)一的語(yǔ)義空間中進(jìn)行融合處理，最后賦予超大規(guī)模預(yù)訓(xùn)練模型更強(qiáng)的知識(shí)輸入，實(shí)現(xiàn)準(zhǔn)確的常識(shí)知識(shí)推理。該方法結(jié)果也一定程度上證明了機(jī)器已初步具備對(duì)于各類(lèi)復(fù)雜文本信息及知識(shí)的深入理解及運(yùn)用能力。

上游新聞?dòng)浾?李舒

關(guān)鍵詞： 從做選擇題到做判斷題 科大訊飛讓機(jī)器解鎖理解思