圖靈獎(jiǎng)得主LeCun：ChatGPT不算創(chuàng)新

“ChatGPT并不算創(chuàng)新?！?/p>

(資料圖)

“OpenAI做的這個(gè)東西跟其他實(shí)驗(yàn)室相比，根本算不上什么進(jìn)步。”

這兩天，圖靈獎(jiǎng)得主LeCun公開和大熱趨勢(shì)“唱反調(diào)”，瞬間引發(fā)網(wǎng)友圍觀。

要知道，ChatGPT功能強(qiáng)大又好玩，火爆全網(wǎng)，任誰(shuí)看了都得感嘆一句“技術(shù)也太強(qiáng)了吧”，AI大佬對(duì)此卻“不敢茍同”？

對(duì)此，不少網(wǎng)友稱LeCun就是在“酸”OpenAI的成就：

“OpenAI現(xiàn)在讓谷歌和Meta都處于ChatGPT的陰影之下。這就是為什么它不算革命性的創(chuàng)新?！?/p>

但也有學(xué)者為他撐腰，稱“ChatGPT就是一年前的InstructGPT的改進(jìn)版本，我必須同意LeCun的這個(gè)說(shuō)法”。

具體是怎么回事兒？

“ChatGPT不算技術(shù)創(chuàng)新，只是組合得很好罷了”

LeCun是在上周于Zoom的媒體和高管小型聚會(huì)上發(fā)表了這些觀點(diǎn)。

說(shuō)ChatGPT不創(chuàng)新，是就底層技術(shù)而言。

他表示，過(guò)去許多公司和實(shí)驗(yàn)室都建立了ChatGPT這種數(shù)據(jù)驅(qū)動(dòng)的人工智能系統(tǒng)，因此OpenAI的這個(gè)作品算不上獨(dú)樹一幟。

盡管ChatGPT在這里面可能最強(qiáng)大，公眾都被它的能力所折服，覺得它能給大家的工作和生活帶來(lái)非常大的變化，但它也真的算不上革命性的科學(xué)。

他指出，除了谷歌Meta，還有6家初創(chuàng)公司都擁有著非常相似的技術(shù)。

“這些技術(shù)都是公開的，算不上rocket science，如果你愿意一探究竟的話，可以發(fā)現(xiàn)它背后沒(méi)有任何秘密可言?！?/p>

(Ps. rocket science即火箭科學(xué)，指特別困難的事情。）

他稱ChatGPT僅僅是“組合得很好”。

具體都“組合”了以下這些關(guān)鍵技術(shù)：

首先，它的核心就是以自監(jiān)督學(xué)習(xí)的方式預(yù)訓(xùn)練的Transformer架構(gòu)。

其中，自監(jiān)督學(xué)習(xí)是“我LeCun”早就提倡的。有多早？那時(shí)OpenAI都還沒(méi)誕生呢。

Transformer呢，更不用多說(shuō)。是谷歌2017年就提出的，GPT-3等大量語(yǔ)言模型都是基于它。

而說(shuō)起語(yǔ)言模型，它的歷史就更早了。

第一個(gè)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，是Yoshua Bengio在大約20年前提出的。（注意力機(jī)制的概念最早也是Bengio發(fā)明的，然后被谷歌采納用于Transformer，然后成為所有語(yǔ)言模型中的關(guān)鍵元素）。

也就是說(shuō)，ChatGPT不僅用的都是別人的技術(shù)，還是很早就有的技術(shù)。

另外，LeCun還指出OpenAI的程序都用到了強(qiáng)化學(xué)習(xí)，也就是通過(guò)人類agent對(duì)機(jī)器的輸出進(jìn)行的排名（就像谷歌的網(wǎng)頁(yè)排名一樣），來(lái)改善系統(tǒng)性能。

而這種方法不是OpenAI，而是谷歌的DeepMind部門首創(chuàng)。

總而言之，LeCun認(rèn)為，ChatGPT并非“憑空而來(lái)”，而是在此前這么多年這么多項(xiàng)技術(shù)的積累上組合出來(lái)的。

所以，它算不上底層技術(shù)上的創(chuàng)新：

與其說(shuō)是科學(xué)突破的案例，不如說(shuō)是體面的工程案例。

有趣的是，LeCun還給ChatGPT找到了同樣的例子。

那就是贏得了DARPA 2005年挑戰(zhàn)賽的自動(dòng)駕駛汽車，來(lái)自企業(yè)家Sebastian Thrun。

他表示，該獲獎(jiǎng)項(xiàng)目用到的這個(gè)技術(shù)也是在基礎(chǔ)科學(xué)方面并不是特別創(chuàng)新，只是設(shè)計(jì)得非常好。

好了，不管是現(xiàn)場(chǎng)聽眾還是屏幕前的你，現(xiàn)在肯定會(huì)問(wèn)了：

你說(shuō)OpenAI的ChatGPT“沒(méi)什么大不了的”，那為什么谷歌和Meta等公司都沒(méi)人做出來(lái)呢？

對(duì)此，LeCun“有備而來(lái)”，笑著自問(wèn)自答道：

它們不是不能，是不想，因?yàn)樽鲞@種東西太費(fèi)錢了，得不到什么收益。

網(wǎng)友：你就酸吧

媒體ZDNet將LeCun的這些觀點(diǎn)整理成文章進(jìn)行了發(fā)表，得到了LeCun本人的親自轉(zhuǎn)發(fā)。

并在轉(zhuǎn)發(fā)語(yǔ)中再次強(qiáng)調(diào)ChatGPT和其他大型語(yǔ)言模型LLM并非憑空而來(lái)，而是數(shù)十年來(lái)不同人貢獻(xiàn)的成果。

因此，沒(méi)有AI實(shí)驗(yàn)室已經(jīng)明顯領(lǐng)先于其他實(shí)驗(yàn)室。（也就是說(shuō)OpenAI還是那個(gè)OpenAI，沒(méi)有因?yàn)镃hatGPT就比別人更牛了）

對(duì)于此番言論，有網(wǎng)友的評(píng)價(jià)卻是：

LeCun，你在嫉妒在“酸”。

具體be like：

“LeCun這個(gè)觀點(diǎn)多有意思啊，就是想說(shuō)Meta的技術(shù)與其他實(shí)驗(yàn)室不相上下，沒(méi)有產(chǎn)品只是因?yàn)镸eta領(lǐng)導(dǎo)層不愿意做?！?/p>

“如果Galactica（Meta的語(yǔ)言模型）也獲得了類似ChatGPT的成功，你就不會(huì)說(shuō)這僅僅是幾十年來(lái)各種人的貢獻(xiàn)的結(jié)果。你的觀點(diǎn)聽起來(lái)讓人覺得是你很嫉妒。我認(rèn)為如果你能衷心祝賀OpenAI，大家可能還會(huì)對(duì)你贊許有加?！?/p>

言辭可以算是很犀利了。

于是，就在今天，LeCun又作出了這樣一個(gè)公開說(shuō)明：

我不是在批評(píng)OpenAI的工作或他們的主張。

而是想糾正一下公眾和媒體的看法，大家說(shuō)它是一個(gè)“全新的突破”這樣評(píng)價(jià)真的太高了。

你認(rèn)為ChatGPT究竟配不配得上這樣的評(píng)價(jià)呢？

豐色 發(fā)自 凹非寺，量子位 | 公眾號(hào) QbitAI

關(guān)鍵詞： 圖靈獎(jiǎng)得主LeCunChatGPT不算創(chuàng)新 人工智能