近日,NVIDIA正式揭曉了全新一代GPU架構(gòu)“安培”(Ampere),其龐大的規(guī)模、精妙的架構(gòu)令人驚嘆,同時不出意外、一如既往,首發(fā)核心又被割了一刀。
首先需要注意的是,不同于此前首發(fā)帕斯卡架構(gòu)的Tesla P100、伏特架構(gòu)的Tesla V100,這次的新計算卡被簡單地叫做“A100”,并沒有冠以Tesla的品牌序列,具體原因不詳,可能是想用于更廣泛領(lǐng)域。
與此同時,新的核心則被叫做“A100 Tensor Core GPU”,突出張量核心的關(guān)鍵作用,而核心代號按慣例延續(xù)為GA100。
GA100設(shè)計了8組GPC(GPU處理集群),每一組GPC里又分為8組TPC(紋理處理集群),而每組又分為兩組SM(流式多處理器),然后每組SM包含64個FP32 CUDA核心(流處理器)。
這樣一來,一顆完整的GA100芯片就一共有128組SM、8196個流處理器,而這種分組結(jié)構(gòu)和以往的NVIDIA GPU架構(gòu)是一致的。
同時,每一組SM里還有4個第三代Tensor核心,整顆芯片內(nèi)共計512個,外部則搭配六顆HBM2顯存,每顆8GB,12個512-bit控制器,總位寬6144-bit。
另外,二級緩存從6MB猛增至40MB,每組SM單元的共享內(nèi)存從最多96KB增至164KB、寄存器容量還是256KB,但整顆芯片寄存器達(dá)到27MB。
GA100芯片采用臺積電第一代7nm(N7)工藝制造,核心面積達(dá)826平方毫米,相比上代12nm GV100僅增大了11平方毫米(0.13%),但晶體管數(shù)量從211億個猛增至542億個,多了接近1.6倍,同時功耗控制在400W(增加33%),可見新架構(gòu)和新工藝的威力。
如此龐大的核心在量產(chǎn)初期顯然會受制于良品率問題,所以實際使用的A100核心未達(dá)成完整規(guī)格,但和以往簡單屏蔽整組計算單元不同,這次砍得略有些復(fù)雜。
GPC單元屏蔽了整整一組,但剩余的也并未全部開啟,其中兩組GPC也各自屏蔽了一個TPC(兩組SM),導(dǎo)致總的SM單元為108個、流處理器為6912個、Tensor核心為432個。
核心加速頻率1410MHz,比前兩代其實都低了,但整體性能在飛躍。
顯存也沒有逃過刀法,只開啟了五組HBM2,所以總?cè)萘繛?0GB,總位寬為5120-bit,頻率1215MHz,帶寬1555GB/s,比上代增加73%。
具體到每個SM單元,其中的Tensor核心數(shù)量雖然從8個減少到4個,但每一個每時鐘周期都支持多達(dá)256個FP16FP FMA操作,合計就是1024個,相比伏特、圖靈架構(gòu)翻了一番。
新的Tensor核心還支持對所有數(shù)據(jù)類型加速,包括FP16、BF16、TF32、FP64、INT8、INT4、Binary。
更精細(xì)的專業(yè)細(xì)節(jié)這里就不展開了,你們也沒啥興趣。
三代架構(gòu)首發(fā)核心規(guī)模對比
關(guān)鍵詞: NVIDIA