出品?|?虎嗅科技組
(資料圖片)
作者?|?齊健
編輯?|?陳伊凡
頭圖?|?視覺中國
OpenAI在12月1日發(fā)布的NLP(自然語言識(shí)別)新模型ChatGPT,剛剛與廣大網(wǎng)友度過了一個(gè)愉快而又有意義的周末。
該模型是OpenAI在2020年推出的NLP預(yù)訓(xùn)練模型——GPT-3的衍生產(chǎn)品。在此之前,一直有預(yù)測(cè)OpenAI將在今年底或明年初推出GPT-4,雖然本次放出的ChatGPT被稱為GPT-3.5,而不是GPT-4,但業(yè)內(nèi)人士同樣認(rèn)為這將是對(duì)NLP以及人工智能領(lǐng)域有重要意義的一款模型。
ChatGPT一經(jīng)發(fā)布就被OpenAI掛到官網(wǎng)上,接受廣大網(wǎng)友的“檢測(cè)”。 免費(fèi)公測(cè)版本的服務(wù)器很快被熱情的測(cè)試用戶擠爆了。
一時(shí)間,針對(duì)ChatGPT的調(diào)戲、探討、詢問、閑聊貼刷屏了Twitter和朋友圈。周末沒有跟蹤C(jī)hatGPT新聞的“紐約時(shí)報(bào)”甚至遭到了已離開OpenAI的創(chuàng)始人馬斯克發(fā)推奚落。
TED負(fù)責(zé)人Chris對(duì)紐約時(shí)報(bào)沒有報(bào)道ChatGPT表示震驚,馬斯克也在下面奚落紐約時(shí)報(bào)應(yīng)該改名叫“社會(huì)正義時(shí)報(bào)”
ChatGPT有多厲害?
GPT-3目前的能力已經(jīng)接近人類,甚至超過人類了。
ChatGPT模型看起來比以往的人機(jī)對(duì)話模型更強(qiáng)大,例如,其敢于質(zhì)疑不正確的前提和假設(shè)、主動(dòng)承認(rèn)錯(cuò)誤以及一些無法回答的問題、主動(dòng)給拒絕不合理的問題、提升了對(duì)用戶意圖的理解以及結(jié)果的準(zhǔn)確性。與之前的GPT3不同,相比于此前海量學(xué)習(xí)數(shù)據(jù)進(jìn)行訓(xùn)練,ChatGPT中,人對(duì)結(jié)果的反饋成為了AI學(xué)習(xí)過程中的一部分。
馬斯克發(fā)推稱:ChatGPT厲害的嚇人,我們距離危險(xiǎn)而強(qiáng)大的AI不遠(yuǎn)了。
ChatGPT 使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型:人類 AI 訓(xùn)練員提供對(duì)話,他們?cè)趯?duì)話中扮演雙方——用戶和 AI 助手,AI 訓(xùn)練員可以訪問模型編寫的對(duì)話回復(fù),以幫助 AI 調(diào)整回復(fù)內(nèi)容。
為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型,該研究需要收集比較數(shù)據(jù),其中包含兩個(gè)或多個(gè)按質(zhì)量排序的模型回復(fù)。該研究收集了 AI 訓(xùn)練員與聊天機(jī)器人的對(duì)話,并隨機(jī)選擇一條模型編寫的消息,抽取幾個(gè)備選回復(fù),讓 AI 訓(xùn)練員對(duì)這些回復(fù)進(jìn)行排名。此外,該研究還使用近端策略優(yōu)化算法(PPO)微調(diào)模型,并對(duì)整個(gè)過程進(jìn)行了數(shù)次迭代。
目前已經(jīng)有網(wǎng)友嘗試讓ChatGPT參加美國高考;誘騙ChatGPT規(guī)劃如何毀滅世界;甚至讓ChatGPT扮演OpenAI,在系統(tǒng)內(nèi)構(gòu)建ChatGPT套娃。
ChatGPT在網(wǎng)友的引導(dǎo)下創(chuàng)作的小說
更多新功能還在持續(xù)等待網(wǎng)友開發(fā)中……
這么好玩的東西不會(huì)只是拿來玩的吧?
在網(wǎng)友排隊(duì)“調(diào)戲”AI的同時(shí),ChatGPT商業(yè)落地問題亦成為產(chǎn)業(yè)界關(guān)心的話題。
ChatGPT或?qū)⒀苌鲆慌鷱?qiáng)大的NLP商業(yè)應(yīng)用。一位人工智能行業(yè)專家告訴虎嗅,通用大模型的普及預(yù)計(jì)會(huì)在3-5年內(nèi)實(shí)現(xiàn),人工智能將很快替代簡(jiǎn)單重復(fù)勞動(dòng),甚至是一些流程性的技術(shù)崗位,比如翻譯、新聞簡(jiǎn)訊編輯等。通用大模型很可能會(huì)在短時(shí)間內(nèi)改變現(xiàn)在生產(chǎn)和生活的很多方式,大量基礎(chǔ)性的工作流程會(huì)被基于大模型的智能應(yīng)用滲透甚至取代。
那么代表著最新AI訓(xùn)練趨勢(shì)的ChatGPT,在商業(yè)化方面有可能面臨哪些挑戰(zhàn)呢?
多位業(yè)內(nèi)人士向虎嗅表示,今天的ChatGPT距離實(shí)際落地還有一段距離。其中最為核心的問題,在于模型的準(zhǔn)確性和部署成本。
首先,ChatGPT的回答并不能保證準(zhǔn)確性,這對(duì)需要準(zhǔn)確回答具體問題的商業(yè)應(yīng)用來說是致命傷。這也是ChatGPT要在C端大規(guī)模推廣,所需要面臨的挑戰(zhàn)。一些業(yè)內(nèi)人士擔(dān)心,如果AI輸出虛假信息的速度太快,可能會(huì)在互聯(lián)網(wǎng)中淹沒真實(shí)信息,甚至對(duì)整個(gè)社會(huì)產(chǎn)生誤導(dǎo)。
這樣的擔(dān)心不無道理,也并非沒有先例。Meta早些時(shí)候推出的一款大型科學(xué)預(yù)言模型Galactica,就因?yàn)榛卮饐栴}過于“放飛自我”,在網(wǎng)上輸出了大量憑空捏造的虛假內(nèi)容,僅上線三天就匆匆下架了。
ChatGPT也并不能避免這個(gè)問題,OpenAI的科學(xué)家John Schulman在此前接受采訪時(shí)曾表示,他們?cè)诮鉀QAI編造事實(shí)的問題上取得了一些進(jìn)展,但還遠(yuǎn)遠(yuǎn)不夠。
商業(yè)化考慮的另一個(gè)問題就是經(jīng)濟(jì)性。ChatGPT目前尚處在免費(fèi)的測(cè)試階段,眼前最接近實(shí)際的應(yīng)用場(chǎng)景是搜索引擎優(yōu)化、營銷媒體內(nèi)容創(chuàng)作輔助和開發(fā)者編程。
由于,ChatGPT現(xiàn)在還處在一個(gè)優(yōu)化迭代的階段,目前開放的公測(cè)應(yīng)該也是希望搜集大眾使用的反饋對(duì)模型持續(xù)改進(jìn)。OpenAI首席執(zhí)行官Sam Altman曾提到過,OpenAI未來的重點(diǎn)更新功能之一,是對(duì)ChatGPT生成的內(nèi)容提供Citation。
GPT-3參數(shù)量達(dá)到1750億,在2020年6月發(fā)布之后, OpenAI開始嘗試對(duì)GPT-3進(jìn)行商業(yè)化。目前OpenAI以API的形式向開發(fā)者客戶有償提供GPT-3模型,并根據(jù)token使用量來收費(fèi)。其客戶包括傳媒、營銷等多個(gè)領(lǐng)域,基于GPT-3產(chǎn)生的App達(dá)300多個(gè)。
從OpenAI官網(wǎng)公布的API價(jià)格來看,收集莎士比亞作品集的價(jià)格在48-24000美元不等
訓(xùn)練階段的沉沒成本過高,也導(dǎo)致人工智能應(yīng)用早期很難從商業(yè)角度量化價(jià)值,也就是算不好“經(jīng)濟(jì)賬”。隨著算力的不斷提高、場(chǎng)景的增多、翻倍的成本和能耗,將成為橫梗在所有公司面前的問題。盡管OpenAI的估值目前為200億美元,但此前亦有觀點(diǎn)認(rèn)為OpenAI應(yīng)該是一家萬億估值的公司,而這家公司目前階段主要產(chǎn)品和技術(shù)仍停留在實(shí)驗(yàn)階段。
盡管很多小規(guī)模的預(yù)訓(xùn)練模型在今天的人機(jī)對(duì)話領(lǐng)域已經(jīng)有很多成功的商業(yè)應(yīng)用,但像ChatGPT這樣大規(guī)模的模型,在To B領(lǐng)域中部署的難度很高,部署速度慢、成本高,商業(yè)價(jià)值也不明確,因此僅能停留在搜索、文化、娛樂等應(yīng)用領(lǐng)域。
容聯(lián)云AI科學(xué)院院長(zhǎng)劉杰對(duì)虎嗅表示,To B行業(yè)對(duì)人工智能要求更嚴(yán)肅、嚴(yán)謹(jǐn),目前的人機(jī)對(duì)話內(nèi)容主要集中在客服、外呼、營銷等領(lǐng)域,需要有針對(duì)的模型庫,利用BERT(預(yù)訓(xùn)練的語言表征模型)基礎(chǔ)上的UniLM框架等規(guī)模小一些的模型進(jìn)行快速訓(xùn)練。
劉杰認(rèn)為,包括ChatGPT在內(nèi)的NLP,在商業(yè)化上還處在一個(gè)螺旋上升的階段,未來應(yīng)用場(chǎng)景很廣,但當(dāng)下技術(shù)和商業(yè)模式還需要盡快找到一個(gè)“共振”的頻率。
不過,也有很多人認(rèn)為ChatGPT未來的應(yīng)用領(lǐng)域未必局限在人機(jī)對(duì)話,可能會(huì)擴(kuò)展到更多應(yīng)用領(lǐng)域,例如程序問題的識(shí)別和搜索引擎等。只是不論是哪一點(diǎn),其都無法避免那些商業(yè)化的難題。
依托云廠商生長(zhǎng)
數(shù)據(jù)是一切AI算法、AI模型的原料。
依附于云廠商,顯然是一種聰明的做法,原料越豐富,做出來的菜色更多樣。
2019年,OpenAI收到來自微軟的10億美元投資,此后一直與微軟保持緊密合作。ChatGPT和GPT 3.5的訓(xùn)練也都是基于微軟的Azure AI的超算基礎(chǔ)設(shè)施完成的。
憑借著大規(guī)模通用AI模型在實(shí)際應(yīng)用中對(duì)算力的需求,Azure AI可以利用ChatGPT秀一波肌肉。
去年11月,微軟宣布,OpenAI的GPT-3將通過新的Azure OpenAI服務(wù)提供給開發(fā)人員。大幅加強(qiáng)了微軟在NLP方面的技術(shù)能力。OpenAI的直接競(jìng)爭(zhēng)對(duì)手DeepMind則在2014年被谷歌母公司Alphabet收購。谷歌和DeepMind合作的主要項(xiàng)目之一,是后者開發(fā)的人工智能推薦系統(tǒng),這也大大提高了谷歌數(shù)據(jù)中心的效率。
微軟和谷歌在與頂級(jí)人工智能研究實(shí)驗(yàn)室的合作中收獲頗豐,而在這方面亞馬遜的AWS可能已經(jīng)落后于另外兩家云業(yè)務(wù)不那么出眾的競(jìng)爭(zhēng)對(duì)手。Gartner于2021年3月發(fā)布的關(guān)于云人工智能的Magic Quadrant報(bào)告發(fā)現(xiàn),AWS遠(yuǎn)遠(yuǎn)落后于微軟、谷歌和IBM等競(jìng)爭(zhēng)對(duì)手。
不過,在人工智能研究方面,AWS在2017年也推出了自己的機(jī)器學(xué)習(xí)解決方案實(shí)驗(yàn)室,提供機(jī)器學(xué)習(xí)專業(yè)知識(shí),用于識(shí)別和構(gòu)建識(shí)別AWS客戶端的機(jī)器學(xué)習(xí)解決方案。在今年9月還推出了一款據(jù)說在機(jī)器學(xué)習(xí)任務(wù)上表現(xiàn)優(yōu)于GPT-3的seq2seq模型AlexaTM 20B。
人工智能發(fā)展的瓶頸
一位在人工智能領(lǐng)域耕耘多年的業(yè)內(nèi)人士告訴虎嗅,人工智能領(lǐng)域一直以來面臨的瓶頸是建立在基礎(chǔ)理論之上的,對(duì)于算法和架構(gòu)的突破——大家習(xí)慣了用筷子夾丸子,但有沒有想過,可能用簽子串,效率更高。90年代末期,正在攻讀博士的他就經(jīng)歷了一次AI的浪潮,過去40年,發(fā)生在AI產(chǎn)業(yè)上有三次浪潮,每一次都是由于理論發(fā)展的瓶頸最終退潮。
另一個(gè)瓶頸是倫理道德。一提到人工智能的倫理道德問題,多數(shù)人會(huì)想到自動(dòng)駕駛定責(zé)等嚴(yán)重的問題,一位人工智能領(lǐng)域投資人向虎嗅指出,如今自動(dòng)駕駛的技術(shù)走在了法律法規(guī)的前面。而如今,隨著生成式AI的逐步成熟,AIGC的版權(quán)以及AI的價(jià)值觀問題都成了制約人工智能發(fā)展的大問題。
在人類與AI交流的過程中,AI如何學(xué)習(xí),能否輸出正確的價(jià)值觀?
大規(guī)模訓(xùn)練部分取決于數(shù)據(jù)的質(zhì)量,AI無法主觀判斷什么是正確的,所以AI很容易“學(xué)壞”。雖然ChatGPT在“防騙”方面有了很大進(jìn)步,但它仍然會(huì)在“不懷好意”的圍觀群眾誘導(dǎo)下表達(dá)出一些不那么“政治正確”的觀點(diǎn),這可能會(huì)是通用AI模型商業(yè)化的阻力之一。
關(guān)鍵詞: 這么好玩的ChatGPT 不會(huì)只是拿來玩的吧 人工智能