百度CTO王海峰:文心3.5模型效果提升50%,新增知識(shí)點(diǎn)增強(qiáng)技術(shù) 世界頭條

發(fā)布時(shí)間:2023-07-07 07:49:39  |  來源:新浪科技  


【資料圖】

7月6日晚間消息,2023世界人工智能大會(huì)期間,百度首席技術(shù)官王海峰發(fā)言指出,百度文心大模型現(xiàn)已升級為文心大模型3.5,已實(shí)現(xiàn)基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)等,模型效果提升50%,訓(xùn)練速度提升2倍,推理速度提升30倍。

據(jù)王海峰介紹,在基礎(chǔ)模型訓(xùn)練上,文心大模型3.5采用了飛槳自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計(jì)算策略,并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布,加快了模型迭代速度,顯著提升了模型效果和安全性,同時(shí)還創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎(jiǎng)勵(lì)模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù),進(jìn)一步提升模型效果及場景適配能力。

在知識(shí)增強(qiáng)和檢索增強(qiáng)基礎(chǔ)上,文心大模型3.5提出了“知識(shí)點(diǎn)增強(qiáng)技術(shù)”,對用戶輸入的查詢、問題等進(jìn)行分析理解,為大模型注入更具體、詳細(xì)、專業(yè)的知識(shí)點(diǎn),顯著提升大模型對世界知識(shí)的掌握和運(yùn)用。此外,文心大模型3.5還新增了插件機(jī)制,目前文心一言已對外發(fā)布官方插件百度搜索和ChatFile。


關(guān)鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號:京ICP備2022016840號-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com