MediaTek運(yùn)用Meta Llama 2大語(yǔ)言模型,賦能終端設(shè)備生成式AI應(yīng)用

發(fā)布時(shí)間:2023-08-24 08:42:36  |  來(lái)源:通信世界全媒體  


(相關(guān)資料圖)

(CWW)2023年8月24日,MediaTek宣布利用Meta新一代開(kāi)源大語(yǔ)言模型(LLM)Llama 2 以及MediaTek先進(jìn)的AI處理器(APU)和完整的AI開(kāi)發(fā)平臺(tái)(NeuroPilot),建立完整的終端側(cè)AI計(jì)算生態(tài),加速智能手機(jī)、物聯(lián)網(wǎng)、汽車、智能家居和其他邊緣設(shè)備的AI應(yīng)用開(kāi)發(fā),為終端設(shè)備提供更安全、可靠和差異化的使用體驗(yàn)。預(yù)計(jì)年末采用 MediaTek 新一代天璣旗艦移動(dòng)芯片的智能手機(jī)支持由Llama 2模型開(kāi)發(fā)的AI應(yīng)用,可為用戶帶來(lái)振奮人心的生成式AI應(yīng)用體驗(yàn)。

MediaTek 資深副總經(jīng)理暨無(wú)線通信事業(yè)部總經(jīng)理徐敬全博士表示:“生成式AI的日益普及是數(shù)字化轉(zhuǎn)型的重要趨勢(shì)之一,我們的愿景是為L(zhǎng)lama 2的開(kāi)發(fā)者和終端用戶提供工具,帶來(lái)更多令人興奮的AI創(chuàng)新機(jī)遇和產(chǎn)品體驗(yàn)。通過(guò)與Meta的伙伴關(guān)系,MediaTek可提供更強(qiáng)大的硬件和軟件整體解決方案,為終端設(shè)備帶來(lái)遠(yuǎn)超以往的功能和體驗(yàn)。”

目前,大多數(shù)生成式AI都依賴云計(jì)算,MediaTek基于Llama 2模型成功實(shí)現(xiàn)直接在終端設(shè)備上運(yùn)行生成式AI應(yīng)用。這將為開(kāi)發(fā)者和用戶提供獨(dú)特優(yōu)勢(shì),包括無(wú)縫的使用體驗(yàn),更強(qiáng)的用戶信息安全和可靠性,更低延遲,離線運(yùn)算的能力以及更低的運(yùn)營(yíng)成本,讓每個(gè)人都能享受到生成式AI帶來(lái)的便捷與創(chuàng)新。

要在終端設(shè)備上充分釋放生成式AI的潛力,設(shè)備制造商需采用高算力、低功耗的AI處理器(APU),并通過(guò)更快、更可靠的網(wǎng)絡(luò)連接來(lái)增強(qiáng)設(shè)備的整體算力。如今,每一顆MediaTek 5G智能手機(jī)SoC均搭載AI處理器,已廣泛執(zhí)行生成式AI應(yīng)用成功案例,例如 AI 降噪(AI-NR)、AI 超級(jí)分辨率(AI-SR)以及AI運(yùn)動(dòng)補(bǔ)償(AI-MEMC)等。

MediaTek將于年末推出新一代旗艦移動(dòng)芯片,將采用針對(duì)Llama 2模型而優(yōu)化的軟件棧(NeuroPilot),與搭配支持Transformer模型做骨干網(wǎng)絡(luò)加速的升級(jí)版AI處理器(APU),可減少動(dòng)態(tài)隨機(jī)存取內(nèi)存(DRAM)的讀寫(xiě)消耗和帶寬占用,進(jìn)一步強(qiáng)化大語(yǔ)言模型和生成式AI應(yīng)用的性能,助力開(kāi)發(fā)者打造令人驚艷的AI應(yīng)用,加速終端設(shè)備AI應(yīng)用落地發(fā)展。


關(guān)鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說(shuō)明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號(hào):京ICP備2022016840號(hào)-16 營(yíng)業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com