清華聯(lián)合阿里發(fā)布AI攻防對抗基準(zhǔn)平臺 評測基準(zhǔn)基于清華ARES算法庫

發(fā)布時間:2021-07-06 10:29:46  |  來源:TechWeb  

清華大學(xué)聯(lián)合阿里安全、RealAI 發(fā)布了首個公平、全面的 AI 攻防對抗基準(zhǔn)平臺,該評測基準(zhǔn)基于清華大學(xué)在 2020 年 GitHub 開源的 ARES 算法庫,平臺致力于對 AI 防御和攻擊算法進(jìn)行自動化、科學(xué)評估。AI 模型究竟是否安全,攻擊和防御能力幾何?只需提交至該平臺,就可見能力排行。

想象一下,如果街道上自動駕駛的汽車因 AI 視覺系統(tǒng)受到 AI 算法誘導(dǎo)攻擊,而引發(fā)行駛軌跡發(fā)生改變;或者有人通過 AI 技術(shù)模仿出跟你熟悉的親朋好友一模一樣的聲音,找你借錢;亦或是家里的 AI 智能設(shè)備遭遇黑客入侵;甚至物聯(lián)網(wǎng)更加智能的未來社會,有人植入 AI 智能心臟輔助設(shè)備也遭遇攻擊,引發(fā)宕機(jī),這些后果將會怎樣?

清華大學(xué)計算機(jī)系教授、RealAI 首席科學(xué)家朱軍就指出,盡管人工智能技術(shù)取得長足進(jìn)步,人工智能算法的安全性仍存在嚴(yán)重不足,對智能技術(shù)的應(yīng)用帶來較大的安全隱患。

從源頭保障 AI 模型安全

“就像打仗一樣,攻擊者可能用水攻,也可能火攻,還可能偷偷挖條地道來攻打一座城,守城的人不能只考慮一種可能性,必須布防應(yīng)對許多的攻擊可能性。”參與該評測基準(zhǔn)平臺設(shè)計的阿里安全高級算法專家越豐這樣比喻。

尤其要關(guān)注惡意攻擊者對數(shù)據(jù)或樣本進(jìn)行“投毒”,故意影響 AI 模型的攻擊行為。

UIUC(伊利諾伊大學(xué))計算機(jī)科學(xué)系教授李博認(rèn)為,機(jī)器學(xué)習(xí)在推理和決策的快速發(fā)展已使其廣泛部署于自動駕駛、智慧城市、智能醫(yī)療等應(yīng)用中,但傳統(tǒng)的機(jī)器學(xué)習(xí)系統(tǒng)通常假定訓(xùn)練和測試數(shù)據(jù)遵循相同或相似的分布,并未考慮到潛在攻擊者惡意修改兩種數(shù)據(jù)分布。

這相當(dāng)于在一個人成長的過程中,故意對他進(jìn)行錯誤的行為引導(dǎo)。惡意攻擊者可以在測試時設(shè)計小幅度擾動,誤導(dǎo)機(jī)器學(xué)習(xí)模型的預(yù)測,或?qū)⒕脑O(shè)計的惡意實例注入訓(xùn)練數(shù)據(jù)中,通過攻擊訓(xùn)練引發(fā) AI 系統(tǒng)產(chǎn)生錯誤判斷。好比是從 AI“基因”上就做了改變,讓 AI 在訓(xùn)練過程中按錯誤的樣本進(jìn)行訓(xùn)練,最終變成被操控的“傀儡”,只是使用的人全然不知。

“深入研究潛在針對機(jī)器學(xué)習(xí)模型的攻擊算法,對提高機(jī)器學(xué)習(xí)安全性與可信賴性有重要意義。”李博指出。

之前的研究者在衡量模型的防御性能時,基本只在一種攻擊算法下進(jìn)行測試,不夠全面。攻擊算法是經(jīng)常變化的,需要考慮模型在多種攻擊算法下和更強(qiáng)的攻擊下的防御能力,這樣才能比較系統(tǒng)地評估 AI 模型的防御能力。

再加上業(yè)界此前提出的各種“攻擊算法排行榜”只包含一些零散的算法,測量攻擊算法的環(huán)境只包含單一的防御算法,用于評測的數(shù)據(jù)集也不多,并沒有合適的統(tǒng)計、度量標(biāo)準(zhǔn)。

阿里巴巴安全部技術(shù)總監(jiān)薛暉表示,參與推進(jìn)這項研究工作,除了幫助 AI 模型進(jìn)行安全性的科學(xué)評估,也是為了促進(jìn) AI 行業(yè)進(jìn)一步打造“強(qiáng)壯”的 AI。

構(gòu)建 AI 對抗攻防領(lǐng)域標(biāo)準(zhǔn)測試平臺

為解決上述問題,近日,清華大學(xué)、阿里安全、RealAI 三方聯(lián)合提出深度學(xué)習(xí)攻擊防御算法及評測的基準(zhǔn)平臺。

不同于之前只包含零散攻防模型的對抗攻防基準(zhǔn),此次推出 AI 對抗安全基準(zhǔn)基本上包括了目前主流的人工智能對抗攻防模型,涵蓋了數(shù)十種典型的攻防算法。不同算法比測的過程中盡量采用了相同的實驗設(shè)定和一致的度量標(biāo)準(zhǔn),從而在最大限度上保證了比較的公平性。

除此之外,本次發(fā)布的 AI 安全排行榜也包括了剛剛結(jié)束的 CVPR2021 人工智能攻防競賽中誕生的排名前 5 代表隊的攻擊算法。此次競賽吸引到了全球 2000 多支代表隊提交的最新算法,進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可行性。

“通過對 AI 算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能,建立 AI 安全基準(zhǔn)具有重要學(xué)術(shù)意義,可以更加公平、全面地衡量不同算法的效果。”朱軍介紹道。

“該基準(zhǔn)評測平臺利用典型的攻防算法和 CVPR 2021 比賽積累的多個性能優(yōu)越的算法進(jìn)行互相評估,代表當(dāng)前安全與穩(wěn)定性測量的國際標(biāo)準(zhǔn)。”RealAI 副總裁唐家渝說。

越豐認(rèn)為,該平臺的發(fā)布對工業(yè)界和學(xué)術(shù)界都能帶來正面的影響,比如工業(yè)界可以使用該平臺評估目前 AI 服務(wù)的安全性,發(fā)現(xiàn)模型的安全漏洞。同時,也可為學(xué)術(shù)界提供一個全面、客觀、公平、科學(xué)的行業(yè)標(biāo)準(zhǔn),推動整個學(xué)術(shù)界在 AI 對抗攻防領(lǐng)域的快速發(fā)展。

清華方面介紹,本次發(fā)布的 AI 安全基準(zhǔn)也是依托清華大學(xué)人工智能研究院研發(fā)的人工智能對抗安全算法平臺 ARES(Adversarial Robustness Evaluation for Safety)建立。ARES 作為古希臘神話中的戰(zhàn)神,雙手持矛和盾是攻防合一的化身,集中體現(xiàn)了 AI 安全算法攻防博弈的特點(diǎn)。該平臺對主流的攻防算法實現(xiàn)了模塊化的設(shè)計,支持?jǐn)?shù)十種主流攻防算法的實現(xiàn),可以方便研究者和開發(fā)人員進(jìn)行使用,有助于推動 AI 對抗攻防領(lǐng)域的發(fā)展。

清華大學(xué)、阿里安全、RealAI 三方強(qiáng)調(diào),該基準(zhǔn)評測平臺不是專屬于某一家機(jī)構(gòu)或者公司搭建的平臺,需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威的 AI 安全評估平臺。因此,三方將聯(lián)合不斷在排行榜中注入新的攻擊和防御算法,并且歡迎學(xué)術(shù)界和產(chǎn)業(yè)界的團(tuán)隊能提供新的攻防模型。

“數(shù)據(jù)對于 AI 發(fā)展非常重要,通過對于不同攻擊和防御算法統(tǒng)一全面的對比,相信這次的平臺可以為機(jī)器學(xué)習(xí)模型的安全與穩(wěn)定性驗證提供更全面的支持,并為進(jìn)一步設(shè)計開發(fā)新的安全、強(qiáng)壯的學(xué)習(xí)算法提供有力的技術(shù)背書。”李博說道。

關(guān)鍵詞: 清華 阿里 AI攻防 基準(zhǔn)平臺 評測基準(zhǔn)

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號:京ICP備2022016840號-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com