人工智能也存在偏見？探究人工智能偏見的識別和管理

2022年3月16日，美國國家標準與技術(shù)研究院（NIST）發(fā)布了《邁向識別和管理人工智能偏見的標準》（以下簡稱《標準》），《標準》的目的是分析人工智能偏見這一具有挑戰(zhàn)性的領(lǐng)域中有爭議的問題，并為制定識別和管理人工智能偏見的詳細社會技術(shù)指導(dǎo)提供路線圖上的第一步。NIST表示，《標準》是支持可信賴和負責任的人工智能開發(fā)的一部分，為NIST正在開發(fā)的AI風險管理框架（AI RMF）提供了相關(guān)的指導(dǎo)。

摘譯 |李朦朦/賽博研究院實習研究員

來源 |NIST

《標準》重點提出三部分內(nèi)容：

描述了人工智能中偏見的利害關(guān)系和挑戰(zhàn)，并舉例說明了偏見破壞公眾信任的原因和方式;

識別人工智能中的三類偏見（即系統(tǒng)性，統(tǒng)計性和人類偏見），并描述它們對社會產(chǎn)生負面影響的方式;

描述了減輕人工智能偏見的三大挑戰(zhàn)，包括數(shù)據(jù)集，測試和評估、驗證和核實以及人為因素，并對解決這些問題給出建議。

如何理解人工智能偏見

人工智能風險管理旨在最大限度地減少人工智能的負面影響，包括對公民自由和權(quán)利的威脅等。而在談?wù)撊斯ぶ悄茱L險時，“偏見”是一個重要話題。雖然人工智能偏見并不總是負面的，如通過自動化系統(tǒng)決策為公眾提供生活便利。然而，人工智能模型和系統(tǒng)中表現(xiàn)出的某些偏見也可能對個人、組織和社會造成永久化和放大的負面影響。

《標準》指出，偏見與社會透明度和公平性息息相關(guān)。對于大多數(shù)人來說，算法很少透明，因為非技術(shù)受眾很難了解和理解公司用于設(shè)計、開發(fā)和部署的代碼及用于決策的復(fù)雜人工智能網(wǎng)絡(luò)。此外，很多人受到人工智能技術(shù)和系統(tǒng)的困擾，如未經(jīng)本人的同意，在申請大學(xué)、租賃房屋甚至互聯(lián)網(wǎng)搜索時，個人數(shù)據(jù)被人工智能技術(shù)和系統(tǒng)輸入等。這些情形都導(dǎo)致個人對“失控”和“失去隱私”的恐懼，以及對人工智能的信任下降。

人工智能偏見的類別

《標準》中，人工智能分為系統(tǒng)性偏見、統(tǒng)計性偏見和人類偏見三大類別，具體來看：

系統(tǒng)性偏見

系統(tǒng)性偏見，也被稱為機構(gòu)或歷史偏見，是由特定機構(gòu)的程序和做法造成，導(dǎo)致某些社會群體處于有利地位或受到青睞，而其他社會群體則處于不利地位或受到貶低。它們普遍存在于人工智能使用的數(shù)據(jù)，人工智能生命周期的流程中以及文化和社會中的機構(gòu)規(guī)范、實踐和流程中。這不一定是有意識偏見或歧視，而是大多數(shù)人遵循現(xiàn)有規(guī)則或規(guī)范造成的。最為典型的是種族主義和性別歧視，在日?；A(chǔ)設(shè)施中未能考慮殘疾人的無障礙環(huán)境等。

統(tǒng)計性偏見

統(tǒng)計性偏見來自于系統(tǒng)性錯誤而非隨機性錯誤，在沒有偏見、偏袒或歧視性意圖的情況下也會發(fā)生。在人工智能系統(tǒng)中，這些偏見存在于開發(fā)人工智能應(yīng)用的數(shù)據(jù)集和算法過程中，當算法在一種類型的數(shù)據(jù)上訓(xùn)練而不能超越這些數(shù)據(jù)進行推斷時，偏見就會出現(xiàn)。

人類偏見

人類偏見是人類思維的基本部分，反映了人類思維中的系統(tǒng)性錯誤。此類偏見往往是隱性的，并與個人或群體通過自動化信息進行決策有關(guān)，廣泛存在于整個人工智能生命周期的機構(gòu)、團體和個人決策過程中，以及在人工智能應(yīng)用部署后的使用過程中。

人工智能偏見對社會的影響

由于人工智能技術(shù)與社會緊密聯(lián)系，其相比傳統(tǒng)技術(shù)對社會的影響更大。各個部門都普遍部署人工智能的應(yīng)用程序用于決策支持，從而代替人類做出具有高度影響力的決策。但目前，對這些應(yīng)用程序的負面影響和其他結(jié)果進行驗證的方法并不精確，也不全面。

雖然機器學(xué)習（ML）系統(tǒng)能夠?qū)?fù)雜的現(xiàn)象進行建模，但其是否能夠按照人類的社會價值觀進行學(xué)習和操作，仍值得關(guān)注。系統(tǒng)性偏見（如種族偏見），可以通過訓(xùn)練中使用的數(shù)據(jù)，機構(gòu)政策以及基礎(chǔ)實踐（如何被委托、開發(fā)、部署和使用），在人工智能模型中比較常見。而統(tǒng)計性偏見、人類偏見普遍存在于工程和建模過程中，只有當正確驗證模型性能的不確定性時，這些偏見才會顯現(xiàn)。

可以發(fā)現(xiàn)，開發(fā)和運用人工智能的團隊往往對技術(shù)的使用方式和人類的監(jiān)督有不準確的預(yù)期，或應(yīng)用結(jié)果不符合設(shè)計原意，也會導(dǎo)致人工智能偏見。這些偏見放大和強化了歧視，從而對個人和社會產(chǎn)生負面影響，并且其速度和規(guī)模遠遠超過了傳統(tǒng)的歧視性做法（如種族歧視、性別歧視、年齡歧視或能力歧視）。

減輕人工智能偏見面臨的挑戰(zhàn)和建議

《標準》探索了克服人工智能偏見的措施和治理過程，描述了其過程中的三大挑戰(zhàn)，包括數(shù)據(jù)集、測試和評估以及人為因素，并為解決這些問題提出建議。

數(shù)據(jù)集挑戰(zhàn)

人工智能的設(shè)計和開發(fā)實踐依賴于大規(guī)模的數(shù)據(jù)集來驅(qū)動ML過程。一方面，研究人員、開發(fā)人員和從業(yè)人員更關(guān)注數(shù)據(jù)集的可用性或可獲得性，而不是最合適性。因此，這些過程中使用的數(shù)據(jù)可能不具有代表性。而這些數(shù)據(jù)卻經(jīng)常在訓(xùn)練ML應(yīng)用中使用。另一方面，當對一個過程或現(xiàn)象的社會技術(shù)背景沒有足夠的了解或認識時，這些在ML應(yīng)用程序中所使用的屬性，也可能不適用于對不同社會群體或文化的分析。

建議：

開發(fā)和部署人工智能系統(tǒng)需要注意的關(guān)鍵問題：是否存在適合或適用于人工智能系統(tǒng)所開發(fā)和部署的各種應(yīng)用、工作和任務(wù)的數(shù)據(jù)集？不僅ML系統(tǒng)的預(yù)測行為是由數(shù)據(jù)決定的，數(shù)據(jù)也在很大程度上決定了機器學(xué)習任務(wù)本身。所以，解決數(shù)據(jù)集的適用性問題需要注意三個因素：

統(tǒng)計因素：解決人工智能偏見的一個主要趨勢是關(guān)注建模過程中使用的數(shù)據(jù)集的平衡統(tǒng)計代表性。使用統(tǒng)計現(xiàn)象分析可檢測數(shù)據(jù)集中的偏見，有時有助于克服人工智能偏見。

社會技術(shù)因素：在ML應(yīng)用中，使用數(shù)據(jù)集必須進行調(diào)整，要全面考慮其所處環(huán)境的全部社會技術(shù)因素。

人類和數(shù)據(jù)集的相互作用因素：在建立人工智能應(yīng)用基礎(chǔ)模型時，數(shù)據(jù)集中存在的系統(tǒng)性偏見是由人工智能設(shè)計和開發(fā)團隊關(guān)于使用哪些數(shù)據(jù)集的決定和假設(shè)所造成。

TEVV（測試和評估、驗證和核實）挑戰(zhàn)

TEVV（測試和評估、驗證和核實）是減輕人工智能偏見所面臨的另一個挑戰(zhàn)。作為一種工程結(jié)構(gòu)，TEVV旨在事后檢測和修復(fù)問題，而并不等同于科學(xué)方法的全面應(yīng)用。一方面，結(jié)構(gòu)有效性在人工智能系統(tǒng)開發(fā)中尤為重要，另一方面，在許多人工智能項目中，結(jié)構(gòu)化數(shù)據(jù)收集、最小化確認偏差的可靠實驗設(shè)計技術(shù)等都在被淡化，這一變化也導(dǎo)致人工智能偏見的增長。

建議：

為了減輕認知和不確定性帶來的風險，模型開發(fā)人員應(yīng)該與部署它們的組織密切合作。團隊應(yīng)努力確保定期更新模型，并在更新的代表性數(shù)據(jù)集上測試和重新校準模型參數(shù)以滿足業(yè)務(wù)目標，同時保持在預(yù)期的性能目標和可接受的偏差水平內(nèi)。

人為因素挑戰(zhàn)

隨著ML算法在準確性和精確性方面的發(fā)展，計算系統(tǒng)已經(jīng)轉(zhuǎn)變?yōu)橛扇祟愄峁┯邢掭斎氲淖詣記Q策。算法決策系統(tǒng)的發(fā)展和普及的同時，由于算法模型會產(chǎn)生和放大不公正結(jié)果，公眾對人工智能的信任感也隨之下降。嵌入在算法模型中的系統(tǒng)性偏見也將造成災(zāi)難性的傷害。在沒有評估和管理這些風險的情況下，貿(mào)然部署人工智能模型和系統(tǒng)的組織不僅會傷害其用戶，還會損害其聲譽。

建議：

制定算法影響評估，提供一個高層次的結(jié)構(gòu)，使組織能夠確定每個算法的風險。

組織多方利益相關(guān)者參與：讓各種利益相關(guān)者參與進來，利用他們的各種經(jīng)驗來應(yīng)對核心挑戰(zhàn)，即在人工智能系統(tǒng)將部署的特定環(huán)境中識別有害結(jié)果和環(huán)境變化。

保證多元化、公平與包容：使能夠反映各種背景、觀點和專業(yè)知識的不同個人群體發(fā)揮作用，這也有助于拓寬人工智能系統(tǒng)設(shè)計師和工程師的視野。

改進實踐：采用生命周期方法確定一些關(guān)鍵點，在這些關(guān)鍵點上，完善的指導(dǎo)、擔保和治理流程可以幫助多利益相關(guān)者協(xié)作整合流程，減少偏見。

優(yōu)化人類與人工智能配置：利用人和機器智能來創(chuàng)建機器學(xué)習模型——“人在回路”（人們參與到一個良性循環(huán)中，在這個循環(huán)中他們訓(xùn)練、調(diào)整和測試特定的算法）的方法，考慮到廣泛的社會技術(shù)因素，可以優(yōu)化人類與人工智能的配置。

提高制度和程序透明度：人工智能系統(tǒng)需要更多的解釋和可以很好地被解釋，可以使用數(shù)據(jù)表和模型卡等工具。

讓人類成為人工智能設(shè)計的中心：以人為中心的設(shè)計（HCD）可開發(fā)可靠、安全和值得信賴的人工智能系統(tǒng)，有助于提高用戶有效使用產(chǎn)品的能力。

人工智能偏見的治理

人工智能偏見的治理過程幾乎影響到管理過程的各個方面，不僅要關(guān)注技術(shù)工件（如人工智能系統(tǒng)），還要關(guān)注組織流程和文化能力，這些都直接影響到參與培訓(xùn)、部署和監(jiān)測此類系統(tǒng)的群體。

《標準》指出，對于人工智能偏見治理可從八方面著手：

1、監(jiān)測：人工智能系統(tǒng)一旦部署，其性能可能與預(yù)期不同，導(dǎo)致不同群體受到不同的待遇。控制該風險的關(guān)鍵措施是部署額外的系統(tǒng)來監(jiān)測潛在的偏見問題。

2、追訴渠道：系統(tǒng)終端用戶可以通過反饋渠道標記出不正確或潛在危害結(jié)果，并對錯誤或危害進行追訴。

3、政策和程序：政策和程序可以實現(xiàn)統(tǒng)一的開發(fā)和測試實踐，這有助于確保人工智能系統(tǒng)結(jié)果的可重復(fù)性，相關(guān)風險可以得到統(tǒng)一的映射、測量和管理。

4、文本標準化：明確的文件可以幫助系統(tǒng)地執(zhí)行政策和程序，使組織的偏見管理過程在每個階段的實施和記錄標準化。文件還可以作為重要信息的單一儲存庫，不僅支持對人工智能系統(tǒng)和相關(guān)業(yè)務(wù)流程的內(nèi)部監(jiān)督，還可以加強系統(tǒng)維護，并作為糾正或調(diào)試處理活動的寶貴資源。

5、問責制：問責制需要對人工智能系統(tǒng)本身的作用進行明確評估，其任務(wù)應(yīng)嵌入到參與培訓(xùn)和部署人工智能系統(tǒng)的各個團隊中，不能由一個人承擔。

6、文化與實踐：為了使治理有效，人工智能需要嵌入到一個組織的整個文化中來強調(diào)信仰、規(guī)范和價值觀。風險管理文化和實踐可以作為一種強大的技術(shù)，從社會技術(shù)系統(tǒng)的角度出發(fā)來識別整個人工智能生命周期中的偏見。

7、風險緩解、風險分類和激勵結(jié)構(gòu)：有效的人工智能偏見治理重點在于明確承認減輕風險，而不是避免風險。這有助于確保偏見風險在實踐中得到迅速減輕并被明確分類，從而使組織能夠?qū)⒂邢薜馁Y源集中在最重要的偏見風險上。調(diào)整各團隊的薪酬和晉升激勵機制，從而使風險緩解機制的參與者真正被激勵使用健全的開發(fā)方法，進行嚴格測試和徹底審計。

8、信息共享：共享網(wǎng)絡(luò)威脅信息有助于組織改善自身和其他組織的安全態(tài)勢。確定內(nèi)部機制，讓團隊分享有關(guān)人工智能的偏見事件或有害影響信息，有助于提升對人工智能風險的重視，并為團隊提供信息以避免過去失敗的設(shè)計。

關(guān)鍵詞： 人工智能也存在偏見探究人工智能偏見的識別和管理