(CWW)VMware(NYSE:VMW)和NVIDIA(NASDAQ:NVDA)于今日宣布擴(kuò)展雙方的戰(zhàn)略合作伙伴關(guān)系,幫助數(shù)十萬(wàn)家使用VMware云基礎(chǔ)架構(gòu)的企業(yè)做好準(zhǔn)備,迎接AI時(shí)代的到來(lái)。
VMware Private AI Foundation with NVIDIA將使企業(yè)能夠自定義模型并運(yùn)行各種生成式AI應(yīng)用,如智能聊天機(jī)器人、助手、搜索和摘要等。該平臺(tái)將作為全集成式解決方案,采用NVIDIA提供的生成式AI軟件和加速計(jì)算,基于VMware Cloud Foundation構(gòu)建,并針對(duì)AI進(jìn)行了優(yōu)化。
【資料圖】
VMware首席執(zhí)行官Raghu Raghuram表示:“生成式AI與多云可謂珠聯(lián)璧合??蛻?hù)的數(shù)據(jù)無(wú)處不在,遍布其數(shù)據(jù)中心、邊緣、云等多處。我們將與NVIDIA一同助力企業(yè)放心地在數(shù)據(jù)附近運(yùn)行生成式AI工作負(fù)載,并解決其在企業(yè)數(shù)據(jù)隱私、安全和控制方面的問(wèn)題?!?/p>
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“世界各地的企業(yè)都在競(jìng)相將生成式AI整合到自身業(yè)務(wù)中。通過(guò)與VMware擴(kuò)大合作,我們將能夠?yàn)榻鹑诜?wù)、醫(yī)療、制造等領(lǐng)域的數(shù)十萬(wàn)家客戶(hù)提供其所需的全棧式軟件和計(jì)算,使其能夠使用基于自身數(shù)據(jù)定制的應(yīng)用,充分挖掘生成式AI的潛力。”
全棧式計(jì)算大幅提升生成式AI的性能
為更快實(shí)現(xiàn)業(yè)務(wù)效益,企業(yè)希望簡(jiǎn)化并提高生成式AI應(yīng)用的開(kāi)發(fā)、測(cè)試和部署效率。根據(jù)麥肯錫的預(yù)測(cè),生成式AI每年可為全球經(jīng)濟(jì)帶來(lái)多達(dá)4.4萬(wàn)億美元的增長(zhǎng)(1)。
VMware Private AI Foundation with NVIDIA將助力企業(yè)充分利用這一能力,以定制大語(yǔ)言模型,創(chuàng)建供內(nèi)部使用的更加安全的私有模型,將生成式AI作為一項(xiàng)服務(wù)提供給用戶(hù),并更加安全地大規(guī)模運(yùn)行推理工作負(fù)載。
該平臺(tái)計(jì)劃提供的各種集成式AI工具,將幫助企業(yè)經(jīng)濟(jì)高效地運(yùn)行使用其私有數(shù)據(jù)訓(xùn)練而成的成熟模型。這一建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟件上的平臺(tái)預(yù)計(jì)能夠提供以下方面的優(yōu)勢(shì):
●隱私:將通過(guò)能夠保護(hù)數(shù)據(jù)隱私并確保訪問(wèn)安全的架構(gòu),使客戶(hù)能夠在任何數(shù)據(jù)所在地輕松運(yùn)行AI服務(wù)。
●選擇:從NVIDIA NeMo?到Llama 2等,企業(yè)在構(gòu)建和運(yùn)行其模型的位置上,將擁有廣泛的選擇空間,包括領(lǐng)先的OEM硬件配置以及未來(lái)的公有云和服務(wù)提供商解決方案。
●性能:近期的行業(yè)基準(zhǔn)測(cè)試表明,某些用例在NVIDIA加速基礎(chǔ)設(shè)施上運(yùn)行的性能與裸機(jī)性能相當(dāng),甚至超過(guò)了裸機(jī)性能。
●數(shù)據(jù)中心規(guī)模:虛擬化環(huán)境中的GPU擴(kuò)展優(yōu)化使AI工作負(fù)載能夠在單個(gè)虛擬機(jī)和多個(gè)節(jié)點(diǎn)上擴(kuò)展到最多16顆vGPU/GPU,從而加快生成式AI模型的微調(diào)和部署速度。
●更低的成本:將最大程度地利用GPU、DPU和CPU的所有計(jì)算資源以降低總體成本,并創(chuàng)建可在各個(gè)團(tuán)隊(duì)間高效共享的池化資源環(huán)境。
●加速存儲(chǔ):VMware vSAN Express Storage Architecture提供性能經(jīng)過(guò)優(yōu)化的NVMe存儲(chǔ),并支持通過(guò)RDMA實(shí)現(xiàn)GPUDirect?存儲(chǔ),從而無(wú)需CPU即可實(shí)現(xiàn)從存儲(chǔ)到GPU的直接I/O傳輸。
●加速網(wǎng)絡(luò):vSphere與NVIDIA NVSwitch?技術(shù)之間的深度集成將進(jìn)一步確保多GPU模型的執(zhí)行不會(huì)出現(xiàn)GPU間瓶頸問(wèn)題。
●快速部署和價(jià)值實(shí)現(xiàn)時(shí)間:vSphere Deep Learning VM鏡像和鏡像庫(kù)將提供穩(wěn)定的統(tǒng)包解決方案鏡像,該鏡像預(yù)先安裝了各種框架和性能經(jīng)過(guò)優(yōu)化的庫(kù),可實(shí)現(xiàn)快速原型開(kāi)發(fā)。
該平臺(tái)將采用的NVIDIANeMo是NVIDIA AI Enterprise(NVIDIA AI平臺(tái)的操作系統(tǒng))中包含的端到端云原生框架,可助力企業(yè)在幾乎任何地點(diǎn)構(gòu)建、自定義和部署生成式AI模型。NeMo集自定義框架、護(hù)欄工具包、數(shù)據(jù)整理工具和預(yù)訓(xùn)練模型于一身,使企業(yè)能夠以一種簡(jiǎn)單、經(jīng)濟(jì)且快速的方式來(lái)采用生成式AI。
為將生成式AI部署到生產(chǎn)中,NeMo使用TensorRT for Large Language Models(TRT-LLM),以加速并優(yōu)化NVIDIA GPU上最新LLM的推理性能。通過(guò)NeMo,VMware Private AI Foundation with NVIDIA將使企業(yè)能夠?qū)胱约旱臄?shù)據(jù),并在VMware混合云基礎(chǔ)架構(gòu)上構(gòu)建和運(yùn)行自定義生成式AI模型。
在VMware Explore 2023大會(huì)上,NVIDIA與VMware重點(diǎn)介紹了企業(yè)內(nèi)部的開(kāi)發(fā)人員如何使用全新NVIDIA AI Workbench提取社區(qū)模型(例如Hugging Face上提供的Llama 2),對(duì)這些模型進(jìn)行遠(yuǎn)程自定義并在VMware環(huán)境中部署生產(chǎn)級(jí)生成式AI。
生態(tài)圈對(duì)VMware Private AI Foundation With NVIDIA的廣泛支持
VMware Private AI Foundation with NVIDIA將得到戴爾、慧與和聯(lián)想的支持。這三家企業(yè)將率先提供搭載NVIDIA L40S GPU、NVIDIA BlueField?-3 DPU和NVIDIA ConnectX?-7智能網(wǎng)卡的系統(tǒng),這些系統(tǒng)將加速企業(yè)LLM定制和推理工作負(fù)載。
相較于NVIDIA A100 Tensor Core GPU,NVIDIA L40S GPU可將生成式AI的推理性能和訓(xùn)練性能分別提高1.2倍和1.7倍。
NVIDIA BlueField-3 DPU可加速、卸載和隔離GPU或CPU上的巨大計(jì)算工作負(fù)載,其中包含虛擬化、網(wǎng)絡(luò)、存儲(chǔ)、安全,以及其他云原生AI服務(wù)。
NVIDIA ConnectX-7智能網(wǎng)卡可為數(shù)據(jù)中心基礎(chǔ)設(shè)施提供智能、加速網(wǎng)絡(luò),以承載全球一些要求嚴(yán)苛的AI工作負(fù)載。
VMware Private AI Foundation with NVIDIA建立在兩家公司長(zhǎng)達(dá)十年的合作基礎(chǔ)之上。雙方的聯(lián)合研發(fā)成果優(yōu)化了VMware的云基礎(chǔ)架構(gòu),使其能夠以媲美裸機(jī)的性能運(yùn)行NVIDIA AI Enterprise。VMware Cloud Foundation所提供的資源及基礎(chǔ)架構(gòu)管理與靈活性將進(jìn)一步惠及雙方共同的客戶(hù)。
關(guān)鍵詞: