盤點(diǎn)近十年7大數(shù)據(jù)分析和人工智能災(zāi)難事件

2017年《經(jīng)濟(jì)學(xué)人》宣布，數(shù)據(jù)（而非石油）已經(jīng)成為世界上最有價(jià)值的資源，后來(lái)這個(gè)觀點(diǎn)被廣為流傳。如今，各行各業(yè)的企業(yè)組織已經(jīng)在、還將繼續(xù)數(shù)據(jù)和分析方面投入大量資金。但是和石油一樣，數(shù)據(jù)和分析也有它陰暗的一面。

根據(jù)2022年CIO狀況調(diào)查報(bào)告，有35%的受訪IT領(lǐng)導(dǎo)者提到，數(shù)據(jù)和業(yè)務(wù)分析將是今年推動(dòng)他們組織最大的一項(xiàng)IT投資，有20%的受訪IT領(lǐng)導(dǎo)者則提及了機(jī)器學(xué)習(xí)/人工智能。從機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的分析和行動(dòng)中獲得的洞察力可以為企業(yè)組織帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì)，但在聲譽(yù)、收入甚至生命方面如果發(fā)生錯(cuò)誤的話，可能要付出高昂的代價(jià)。

理解你的數(shù)據(jù)以及數(shù)據(jù)給你傳遞了什么信息，這一點(diǎn)很重要，但了解你的工具、了解你的數(shù)據(jù)、牢記企業(yè)組織的價(jià)格也同樣重要。

下面是過(guò)去十年發(fā)生的一些備受關(guān)注的數(shù)據(jù)分析和人工智能災(zāi)難事件，可以說(shuō)明在采用這些技術(shù)時(shí)可能遇到的問(wèn)題。

1. AI算法發(fā)現(xiàn)了一切，卻沒(méi)能預(yù)測(cè)COVID-19

自COVID-19新冠疫情大爆發(fā)以來(lái)，很多企業(yè)組織都在尋求通過(guò)使用機(jī)器學(xué)習(xí)算法來(lái)幫助醫(yī)院更快地診斷或者分類患者。但根據(jù)英國(guó)國(guó)家數(shù)據(jù)科學(xué)和人工智能中心圖靈研究所的說(shuō)法，這些預(yù)測(cè)工具幾乎沒(méi)有帶來(lái)什么影響。

《麻省理工科技評(píng)論》記錄了很多失敗事件，其中大部分源于工具訓(xùn)練或測(cè)試方法出現(xiàn)了錯(cuò)誤，其中，使用了標(biāo)記錯(cuò)誤的數(shù)據(jù)或者數(shù)據(jù)來(lái)自未知來(lái)源是常見(jiàn)的罪魁禍?zhǔn)住?/p>

劍橋大學(xué)機(jī)器學(xué)習(xí)研究員Derek Driggs和他的同事在《Nature Machine Intelligence》上發(fā)表了一篇論文，探討了使用深度學(xué)習(xí)模型對(duì)病毒進(jìn)行診斷。該論文最后明確，深度學(xué)習(xí)技術(shù)不適合臨床使用。例如Driggs的團(tuán)隊(duì)發(fā)現(xiàn)，他們自己的模型存在缺陷，因?yàn)槟Ｐ陀?xùn)練采用的數(shù)據(jù)集中，包括了掃描操作時(shí)躺著的患者和站立的患者的掃描文件。躺著的患者患重病的可能性更大，于是該算法學(xué)會(huì)了根據(jù)掃描中患者的位置來(lái)發(fā)現(xiàn)新冠風(fēng)險(xiǎn)。

類似的例子還包括使用含有健康兒童胸部掃描的數(shù)據(jù)集對(duì)算法進(jìn)行訓(xùn)練，該算法最后卻學(xué)會(huì)了識(shí)別哪個(gè)是兒童，而不是高?；颊?。

2. 購(gòu)房算法失準(zhǔn)導(dǎo)致Zillow損失數(shù)百萬(wàn)美元、大幅裁員

2021年11月，在線房地產(chǎn)交易巨頭Zillow向股東表示，將在未來(lái)幾個(gè)季度結(jié)束Zillow Offers業(yè)務(wù)，并裁員25%，也就是約2000名員工，而這主要?dú)w咎于Zillow因?yàn)橛糜陬A(yù)測(cè)房?jī)r(jià)的機(jī)器學(xué)習(xí)算法出現(xiàn)錯(cuò)誤而導(dǎo)致了一系列后果。

Zillow Offers是一個(gè)程序，Zillow通過(guò)該程序根據(jù)機(jī)器學(xué)習(xí)算法得出的房屋價(jià)值“Zestimate”指數(shù)對(duì)房產(chǎn)進(jìn)行現(xiàn)金報(bào)價(jià)，這么做是為了對(duì)房產(chǎn)快速進(jìn)行翻新轉(zhuǎn)售。但是Zillow公司的一位發(fā)言人告訴CNN，該算法的中位錯(cuò)誤率為1.9%，對(duì)于市場(chǎng)交易之外的房屋評(píng)估錯(cuò)誤率可能更高，高達(dá)6.9%。

CNN報(bào)道稱，Zillow自2018年4月上線以來(lái)通過(guò)Zillow Offers買入了27000套房屋，但到2021年9月底僅售出17000套。新冠疫情大爆發(fā)和家庭裝修勞動(dòng)力短缺等黑天鵝事件，導(dǎo)致了算法的準(zhǔn)確性問(wèn)題。

Zillow稱，該算法導(dǎo)致公司無(wú)意中以高于當(dāng)前估價(jià)的價(jià)格買入房屋，導(dǎo)致2021年第三季度的庫(kù)存價(jià)格減記為3.04億美元。

Zillow公司聯(lián)合創(chuàng)始人、首席執(zhí)行官Rich Barton在公告發(fā)布后與投資者舉行的電話會(huì)議上表示，或許他們可以調(diào)整算法，但最終風(fēng)險(xiǎn)太大。

3. Excel表格數(shù)據(jù)限制導(dǎo)致英國(guó)數(shù)千新冠病例未被上報(bào)

2020年10月，負(fù)責(zé)統(tǒng)計(jì)新增新冠病毒感染數(shù)量的英國(guó)政府機(jī)構(gòu)英國(guó)公共衛(wèi)生部(PHE)透露，在9月25日至10月2日期間，有近16000例新冠病毒病例并未上報(bào)。罪魁禍?zhǔn)资钦l(shuí)？答案是微軟Excel中的數(shù)據(jù)限制問(wèn)題。

英國(guó)公共衛(wèi)生部使用自動(dòng)化流程將新冠病毒陽(yáng)性的實(shí)驗(yàn)室結(jié)果作為CSV文件傳輸?shù)紼xcel模板中，用于報(bào)告儀表板和密接追蹤。然而不幸的是，Excel電子表格每個(gè)工作表最多支持1048576行和16384列。而且，英國(guó)公共衛(wèi)生部是按照列而不是按行輸出信息的，所以當(dāng)?shù)搅?6384列限制的時(shí)候，Excel就會(huì)自動(dòng)切斷剩下的15841條記錄。

雖然這個(gè)“故障”并沒(méi)有妨礙接受檢測(cè)的個(gè)人收到檢測(cè)結(jié)果，但確實(shí)妨礙了密切接觸者的追蹤工作，使英國(guó)國(guó)家衛(wèi)生服務(wù)部(NHS)更難發(fā)現(xiàn)和通知與感染患者密切接觸的個(gè)人。英國(guó)公共衛(wèi)生部臨時(shí)首席執(zhí)行官M(fèi)ichael Brodie在10月4日的一份聲明中表示，英國(guó)國(guó)家衛(wèi)生服務(wù)部測(cè)試和追蹤系統(tǒng)以及英國(guó)公共衛(wèi)生部迅速解決了這個(gè)問(wèn)題，并將所有重大記錄立即轉(zhuǎn)移到該系統(tǒng)中。

英國(guó)公共衛(wèi)生部采取了一項(xiàng)“快速解決”措施，先是把大文件進(jìn)行拆分，然后對(duì)所有系統(tǒng)進(jìn)行了全面端到端的審查，以防止未來(lái)再發(fā)生類似事件。

4. 美國(guó)國(guó)內(nèi)醫(yī)療算法未能標(biāo)記黑人患者

2019年發(fā)表在《科學(xué)》雜志上的一項(xiàng)研究顯示，美國(guó)各地的醫(yī)院和保險(xiǎn)公司都使用一種醫(yī)療預(yù)測(cè)算法，來(lái)識(shí)別那些需要“高風(fēng)險(xiǎn)護(hù)理管理”計(jì)劃的患者，但這種算法不太可能單獨(dú)挑出黑人患者。

這項(xiàng)高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃旨在為慢性病患者提供訓(xùn)練有素的護(hù)理人員以及初級(jí)保健監(jiān)測(cè)服務(wù)，以防止嚴(yán)重并發(fā)癥的發(fā)生。但該算法將白人患者推薦給該計(jì)劃的幾率，要高于黑人患者。

研究發(fā)現(xiàn)，該算法使用醫(yī)療支出作為確定個(gè)人醫(yī)療需求的依據(jù)。但根據(jù)《科學(xué)美國(guó)人》的說(shuō)法，那些病情較重的黑人患者所花費(fèi)的醫(yī)療費(fèi)用，與健康的白人所花費(fèi)的醫(yī)療費(fèi)用是差不多的，這意味著即使黑人患者的醫(yī)療需求更高，但他們的風(fēng)險(xiǎn)評(píng)分卻很低。

研究人員認(rèn)為，可能有幾個(gè)因素，首先，有色人種收入較低的幾率更高，即使他們有保險(xiǎn)，也不太可能獲得相應(yīng)的醫(yī)療服務(wù)。隱性偏見(jiàn)也可能導(dǎo)致有色人種接受的護(hù)理服務(wù)質(zhì)量較低。

雖然該研究并沒(méi)有公開具體的算法或者開發(fā)人員，但有研究人員告訴《科學(xué)美國(guó)人》，他們正在與開發(fā)人員合作解決這個(gè)問(wèn)題。

5. 數(shù)據(jù)集訓(xùn)練出的微軟聊天機(jī)器人發(fā)布種族主義推文

2016年3月，微軟發(fā)現(xiàn)，使用推特交互功能作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)，可能會(huì)產(chǎn)生令人失望的結(jié)果。

微軟在推特平臺(tái)上發(fā)布了AI聊天機(jī)器人“Tay”，并將其描述為一項(xiàng)有關(guān)“對(duì)話理解”的實(shí)驗(yàn)。微軟給這個(gè)聊天機(jī)器人設(shè)計(jì)了一個(gè)少女的角色，結(jié)合使用機(jī)器學(xué)習(xí)和自然語(yǔ)言處理，通過(guò)推特與用戶進(jìn)行互動(dòng)。微軟用匿名的公共數(shù)據(jù)和喜劇演員預(yù)先編寫的一些材料輸入到機(jī)器人中，然后讓它從社交網(wǎng)絡(luò)上的互動(dòng)信息中進(jìn)行自我學(xué)習(xí)和自我發(fā)展。

這個(gè)聊天機(jī)器人在16個(gè)小時(shí)內(nèi)發(fā)布了95000多條推文，迅速變成了公然的種族主義、厭女主義和反猶太主義。微軟迅速叫停了并進(jìn)行調(diào)整，但最終還是終止了該服務(wù)。

事件發(fā)生后，微軟研究與孵化部門企業(yè)副總裁Peter Lee（后來(lái)?yè)?dān)任了微軟醫(yī)療企業(yè)副總裁）在微軟官方博客上的一篇文章中寫道：“我們對(duì)來(lái)自Tay的無(wú)意冒犯和傷害性推文深表歉意，這些推文并不代表我們的立場(chǎng)，也不能代表我們?cè)O(shè)計(jì)Tay的方式?！?/p>

Lee指出，Tay的前身是微軟2014年在中國(guó)發(fā)布的小冰，在Tay發(fā)布前的兩年時(shí)間里，它已經(jīng)成功地與超過(guò)4000萬(wàn)人進(jìn)行了對(duì)話。微軟沒(méi)有考慮到的是，一群推特用戶會(huì)立即開始向Tay發(fā)起種族主義和厭惡女性的評(píng)論，而機(jī)器人Tay也迅速地從這些信息中學(xué)習(xí)，并最終整合到自己的推文中。

“盡管我們已經(jīng)為很多系統(tǒng)濫用情況做好了準(zhǔn)備，但我們卻對(duì)這種特定的攻擊行為嚴(yán)重失察。結(jié)果就是，Tay在推特上發(fā)布了非常不恰當(dāng)、應(yīng)受譴責(zé)的文字和圖片?！?/p>

6. 亞馬遜AI招聘工具只推薦男性

和很多大企業(yè)一樣，亞馬遜也渴望擁有一些能夠幫助人力資源部門篩選出并找到最佳候選人的工具。2014年，亞馬遜開始開發(fā)AI招聘軟件來(lái)實(shí)現(xiàn)這一點(diǎn)。但有一個(gè)問(wèn)題：這個(gè)非常偏愛(ài)男性候選人。2018年，路透社爆料亞馬遜取消了該項(xiàng)目。

亞馬遜的系統(tǒng)給候選人從1到5的星級(jí)評(píng)分，但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是根據(jù)提交給亞馬遜近10年的簡(jiǎn)歷進(jìn)行訓(xùn)練的——其中大部分都是男性。因?yàn)槭褂眠@些數(shù)據(jù)進(jìn)行訓(xùn)練，導(dǎo)致系統(tǒng)開始對(duì)簡(jiǎn)歷中包含“女性”一詞的短語(yǔ)給出較低評(píng)級(jí)，甚至是來(lái)自女子大學(xué)的候選人。

當(dāng)時(shí)亞馬遜公司表示，亞馬遜招聘人員從未使用該工具來(lái)評(píng)估候選人。

亞馬遜試圖調(diào)整該工具以保持中立，但最終決定，無(wú)法保證該工具不會(huì)學(xué)習(xí)其他一些歧視性的候選人排序方式，而結(jié)束了該項(xiàng)目。

7. 零售巨頭Target分析項(xiàng)目侵犯隱私

2012年，零售巨頭Target的一個(gè)分析項(xiàng)目，展示了Target是如何從數(shù)據(jù)中洞察顧客的。據(jù)《紐約時(shí)報(bào)》報(bào)道，2002年，Target營(yíng)銷部門開始思考如何確定顧客是否懷孕，最終誕生了一個(gè)預(yù)測(cè)分析項(xiàng)目，導(dǎo)致Target無(wú)意中向一名少女的家人透露她已經(jīng)懷孕了。反過(guò)來(lái)，各種文章和營(yíng)銷博客都開始引用該事件，建議人們避免那些“令人毛骨悚然的因素”。

Target營(yíng)銷部門想要識(shí)別出懷孕的顧客，因?yàn)樵趹言羞@種特殊時(shí)期人們很有可能改變他們的購(gòu)物習(xí)慣。這樣如果Target可以這期間觸及到這些顧客，培養(yǎng)這些顧客新的購(gòu)物行為，讓他們轉(zhuǎn)向去Target購(gòu)買百貨、衣服或其他商品。

和其他所有大型零售商一樣，Target一直通過(guò)購(gòu)物者代碼、信用卡、調(diào)查等方式收集顧客數(shù)據(jù)，然后結(jié)合購(gòu)物者的人口統(tǒng)計(jì)數(shù)據(jù)和第三方數(shù)據(jù)，對(duì)所有這些數(shù)據(jù)進(jìn)行處理之后，Target的分析團(tuán)隊(duì)就能確定，通過(guò)分析Target大約25款在售商品就能生成“懷孕預(yù)測(cè)”評(píng)分。然后，營(yíng)銷部門就可以針對(duì)評(píng)分較高的顧客提供優(yōu)惠券和營(yíng)銷信息。

進(jìn)一步的研究表明，對(duì)顧客生育情況的研究會(huì)讓其中一些顧客感到毛骨悚然。據(jù)《泰晤士報(bào)》報(bào)道，Target沒(méi)有放棄有針對(duì)性的營(yíng)銷手段，但確實(shí)開始在廣告中混入那些他們明知孕婦不會(huì)購(gòu)買的東西，例如在紙尿褲廣告展示割草機(jī)廣告，通過(guò)這種廣告組合的方式讓顧客覺(jué)得沒(méi)那么刻意。

關(guān)鍵詞： 盤點(diǎn)近十年7大數(shù)據(jù)分析和人工智能災(zāi)難事件 英國(guó)_科技