【全球播資訊】輕量版ChatGPT訓(xùn)練方法開源！圍繞LLaMA打造，號稱訓(xùn)練快15倍

蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

基于Meta模型打造的輕量版ChatGPT，這就來啦？

(資料圖片)

Meta宣布推出LLaMA才三天，業(yè)界就出現(xiàn)了把它打造成ChatGPT的開源訓(xùn)練方法，號稱比ChatGPT訓(xùn)練速度最高快15倍。

LLaMA是Meta推出的超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運行。

把它變成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人類反饋的強化學(xué)習(xí)）進行訓(xùn)練，在網(wǎng)上很快掀起了一陣熱度。

所以，Meta的開源版ChatGPT真的要來了？

先等等，事情倒也沒那么簡單。

把LLaMA訓(xùn)練成ChatGPT的“開源方法”

點進ChatLLaMA項目主頁來看，會發(fā)現(xiàn)它實際上集成了四個部分——

DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的數(shù)據(jù)集。

其中，DeepSpeed是一個開源深度學(xué)習(xí)訓(xùn)練優(yōu)化庫，包含名叫Zero的現(xiàn)存優(yōu)化技術(shù)，用于提升大模型訓(xùn)練能力，具體指幫模型提升訓(xùn)練速度、降低成本、提升模型可用性等。

RLHF則會采用獎勵模型來對預(yù)訓(xùn)練模型進行微調(diào)。獎勵模型即先用多個模型生成問題問答，再依靠人工對問答進行排序，讓它學(xué)會打分；隨后，基于獎勵學(xué)習(xí)給模型生成的回答進行打分，通過強化學(xué)習(xí)的方式增強模型能力。

LangChain是一個大語言模型應(yīng)用開發(fā)庫，希望將各種大語言模型整合起來，結(jié)合其他知識來源或計算能力創(chuàng)建一個實用的應(yīng)用程序。LangChain agent則會像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。

這時候你會發(fā)現(xiàn)，最關(guān)鍵的依舊是LLaMA的模型權(quán)重。它從哪里來？

嘿嘿，自己去找Meta申請吧，ChatLLaMA并不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請）

所以本質(zhì)上來說，ChatLLaMA并不是一個開源ChatGPT項目，而只是一種基于LLaMA的訓(xùn)練方法，其庫內(nèi)集成的幾個項目原本也都是開源的。

實際上，ChatLLaMA也并非由Meta打造，而是來自一個叫做Nebuly AI的初創(chuàng)AI企業(yè)。

Nebuly AI做了一個叫做Nebullvm的開源庫，里面集成了一系列即插即用的優(yōu)化模塊，用于提升AI系統(tǒng)性能。

例如這是Nebullvm目前包含的一些模塊，包括基于DeepMind開源的AlphaTensor算法打造的OpenAlphaTensor、自動感知硬件并對其進行加速的優(yōu)化模塊……

ChatLLaMA也在這一系列模塊中，但要注意的是它的開源license也是不可商用的。

所以“國產(chǎn)自研ChatGPT”想要直接拿去用，可能還沒那么簡單（doge）。

看完這個項目后，有網(wǎng)友表示，要是有人真搞到LLaMA的模型權(quán)重（代碼）就好了……

但也有網(wǎng)友指出，“比ChatGPT訓(xùn)練方法快15倍”這種說法是一個純純的誤導(dǎo)：

所謂的快15倍只是因為LLaMA模型本身很小，甚至能在單個GPU上運行，但應(yīng)該不是因為這個項目所做的任何事情吧？

這位網(wǎng)友還推薦了一個比庫中效果更好的RLHF訓(xùn)練方法，名叫trlx，訓(xùn)練速度要比通常的RLHF方法快上3~4倍：

你拿到LLaMA的代碼了嗎？覺得這個訓(xùn)練方法如何？

關(guān)鍵詞： 輕量版ChatGPT訓(xùn)練方法開源圍繞LLaMA打造 號稱訓(xùn)練快15倍