作者 | Chris Stokel-Walker
譯者 | Sambodhi
(資料圖片僅供參考)
策劃 | 凌敏
生成式人工智能繁榮的背后,是令人恐懼的碳排放量。
今年二月初,谷歌和微軟先后宣布了對其搜索引擎進行重大變革。這兩家科技巨頭都在構(gòu)建或購買生成式人工智能工具上投入了大量資金,這些工具利用大型語言模型來理解并回應(yīng)復(fù)雜問題?,F(xiàn)在他們正嘗試將這些工具整合到搜索中,期望能夠為用戶帶來更加豐富和精準(zhǔn)的使用體驗。中國的搜索引擎公司百度已經(jīng)宣布,他們也會跟進。
但是,人們對新工具的欣喜若狂,卻隱藏了一個不可告人的秘密。為了打造高性能、人工智能驅(qū)動的搜索引擎,這場競賽將會要求大量的計算能力,同時也會導(dǎo)致科技公司的能耗和碳排放量的大幅增長。
英國薩里大學(xué)(University of Surrey)網(wǎng)絡(luò)安全教授艾倫·伍德沃德(Alan Woodward)表示:“我們已經(jīng)投入了大量的人力物力來進行索引和搜索互聯(lián)網(wǎng)內(nèi)容,但要將人工智能納入其中,就必須要有多重方法。這要求具備數(shù)據(jù)處理、存儲和高效檢索的功能。無論何時,只要我們看到一個在線處理過程的改變,我們就會發(fā)現(xiàn),對于大型處理中心,需要的電能和制冷資源都會有很大的增長。我想,這是一個很好的步驟?!?/p>
訓(xùn)練大型語言模型(Large Language Model,LLM),例如那些支撐 OpenAI 的 ChatGPT 的模型,它將為微軟增強版必應(yīng)搜索引擎和谷歌的同類產(chǎn)品 Bard 提供強大的支持,這就意味著可以分析并處理海量數(shù)據(jù),這也是為何它們通常都是擁有可觀資源的宮鎖所開發(fā)的原因。
“訓(xùn)練這些模型需要大量的計算能力,”西班牙科魯尼亞大學(xué)(University of Coru?a)的計算機科學(xué)家卡洛斯·戈麥斯 - 羅德里格斯(Carlos Gómez-Rodríguez)說,“目前,只有大型科技公司才能訓(xùn)練它們?!?/p>
盡管 OpenAI 和谷歌都沒有透露其產(chǎn)品的計算成本費用,但是第三方的研究者分析認(rèn)為,ChatGPT 部分基于的 GPT-3 的訓(xùn)練所耗費的功率為 1287 兆瓦,所產(chǎn)生的的碳排放量超過 550 噸,相當(dāng)于一個人在紐約和舊金山之間往返 550 次的碳排放量。
戈麥斯 - 羅德里格斯說:“這并沒有那么糟糕,但你必須考慮到這個事實:你不僅要訓(xùn)練它,還要執(zhí)行它,為數(shù)百萬用戶提供服務(wù)。”
將 ChatGPT 作為獨立產(chǎn)品使用,與將其整合到每天處理約 5 億次搜索的必應(yīng)中,也是有很大區(qū)別的。據(jù)瑞銀估計,ChatGPT 每天約有 1300 萬用戶。
加拿大數(shù)據(jù)中心公司 QScale 的聯(lián)合創(chuàng)始人馬丁·布沙爾(Martin Bouchard)認(rèn)為,根據(jù)他對微軟和谷歌搜索計劃的解讀,在這一過程中加入生成式人工智能至少需要“每次搜索至少四到五倍的計算”。他指出,ChatGPT 目前在 2021 年底停止對世界的理解,作為削減計算需求的嘗試的一部分。
為了滿足搜索引擎用戶的需求,這種情況必須改變?!叭绻麄円?jīng)常重新訓(xùn)練模型,并添加更多的參數(shù)和東西,那就是一個完全不同的規(guī)模的事情了?!彼f。
這就要求在硬件方面投入大量的資金?!爱?dāng)前的數(shù)據(jù)中心以及我們現(xiàn)有的基礎(chǔ)設(shè)施都無法與生成式人工智能進行競賽,”布沙爾說,“這太過分了?!?/p>
根據(jù)國際能源署(International Energy Agency)的數(shù)據(jù),數(shù)據(jù)中心的溫室氣體排放量已經(jīng)占到全球總排放量的 1% 左右。由于對云計算的需求不斷增加,這個數(shù)據(jù)會有所增加,但是運營搜索業(yè)務(wù)的公司已承諾要降低他們在全球變暖的凈貢獻。
戈麥斯 - 羅德里格斯表示:“這肯定沒有運輸業(yè)或紡織業(yè)那么糟糕。但是,人工智能對碳排放的影響很大?!?/p>
微軟承諾到 2050 年實現(xiàn)負(fù)碳排放。該公司計劃在今年購買價值 150 萬公噸的碳信用額度。谷歌已承諾到 2030 年在全業(yè)務(wù)和全產(chǎn)業(yè)鏈上達到凈零排放。OpenAI 和微軟均未對此承諾置評。
將人工智能整合到搜索中的環(huán)境足跡和能源成本,可以通過將數(shù)據(jù)中心轉(zhuǎn)移到更的能源來源,以及通過重新設(shè)計神經(jīng)網(wǎng)絡(luò)以提高效率,減少所謂的“推理時間”(一種算法處理新數(shù)據(jù)所需的計算能力)來降低。
“我們必須研究如何減少這種大型模型所需的推理時間,”該謝菲爾德大學(xué)(University of Sheffield)自然語言處理講師納菲斯·薩達特·穆薩維(Nafise Sadat Moosavi)表示?!艾F(xiàn)在是專注于效率方面的好時機?!?/p>
谷歌發(fā)言人簡·帕克(Jane Park)告訴 WIRED,谷歌最初發(fā)布的 Bard 版本是由一個更輕量級的大型語言模型驅(qū)動的。
“我們還發(fā)表了研究報告,詳細介紹了最先進的語言模型的能源成本,包括較早和較大的 LaMDA 版本,”帕克說?!拔覀兊难芯拷Y(jié)果表明,將高效模型、處理器和數(shù)據(jù)中心與能源相結(jié)合,可以將機器學(xué)習(xí)系統(tǒng)的碳足跡降低 1000 倍。”
問題在于,對于谷歌來說,要想提高一點搜索準(zhǔn)確率,就必須要增加更多的計算量和不必要的麻煩,這是否值得。但穆薩維說,盡管重視 LLM 所產(chǎn)生的能耗和碳排放的總量是非常重要的,但是還是要有一些觀點。
“這對最終用戶來說真是太好了,”她說,“因為以前的大型語言模型并不是所有人都能使用的?!?/p>
作者簡介:
Chris Stokel-Walker,自由撰稿人、WIRED 撰稿人。
https://www.wired.com/story/the-generative-ai-search-race-has-a-dirty-secret/
文章版權(quán)歸極客邦科技 InfoQ 所有,未經(jīng)許可不得轉(zhuǎn)載。
關(guān)鍵詞: