編輯：Aeneas 潤(rùn)

【新智元導(dǎo)讀】黃老板又贏麻了！在最新的MLPerf基準(zhǔn)測(cè)試中，H100成功創(chuàng)下8項(xiàng)測(cè)試紀(jì)錄。而外媒透露，下一代消費(fèi)級(jí)顯卡或在2025發(fā)布。

最新MLPerf訓(xùn)練基準(zhǔn)測(cè)試中，H100 GPU在所有的八項(xiàng)測(cè)試中都創(chuàng)下了新紀(jì)錄！

如今，NVIDIA H100幾乎已經(jīng)統(tǒng)治了所有類(lèi)別，并且是新LLM基準(zhǔn)測(cè)試中使用的唯一 的GPU。

3,584個(gè)H100 GPU群在短短11分鐘內(nèi)完成了基于GPT-3的大規(guī)?；鶞?zhǔn)測(cè)試。

MLPerf LLM基準(zhǔn)測(cè)試是基于OpenAI的GPT-3模型進(jìn)行的，包含1750億個(gè)參數(shù)。

Lambda Labs估計(jì)，訓(xùn)練這樣一個(gè)大模型需要大約3.14E23 FLOPS的計(jì)算量。

11分鐘訓(xùn)出GPT-3的怪獸是如何構(gòu)成的

在LLM和BERT自然語(yǔ)言處理 (NLP) 基準(zhǔn)測(cè)試中排名最高的系統(tǒng)，是由NVIDIA和Inflection AI聯(lián)合開(kāi)發(fā)。

由專(zhuān)門(mén)從事企業(yè)級(jí)GPU加速工作負(fù)載的云服務(wù)提供商CoreWeave托管。

該系統(tǒng)結(jié)合了3584個(gè)NVIDIA H100加速器和896個(gè)Intel Xeon Platinum 8462Y+處理器。

因?yàn)橛ミ_(dá)在H100中引入了新的Transformer引擎，專(zhuān)門(mén)用于加速Transformer模型訓(xùn)練和推理，將訓(xùn)練速度提高了6倍。

CoreWeave從云端提供的性能與英偉達(dá)從本地?cái)?shù)據(jù)中心運(yùn)行的AI超級(jí)計(jì)算機(jī)所能提供的性能已經(jīng)非常接近了。

這得益于CoreWeave使用的NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)具有低延遲網(wǎng)絡(luò)。

隨著參與訓(xùn)練的H100 GPU從數(shù)百個(gè)擴(kuò)展到3000多個(gè)。

良好的優(yōu)化使得整個(gè)技術(shù)堆棧在要求嚴(yán)苛的LLM測(cè)試中實(shí)現(xiàn)了近乎線性的性能擴(kuò)展。

如果將GPU的數(shù)量降低到一半，訓(xùn)練相同的模型時(shí)間會(huì)增加到24分鐘。

說(shuō)明整個(gè)系統(tǒng)的效率潛力，隨著GPU的增加，是超線性的。

最主要的原因是，英偉達(dá)從GPU設(shè)計(jì)之初就考慮到了這個(gè)問(wèn)題，使用NVLink技術(shù)來(lái)高效實(shí)現(xiàn)了GPU之間的通信。

在參與測(cè)試的90個(gè)系統(tǒng)中，有82個(gè)系統(tǒng)都使用了英偉達(dá)的GPU進(jìn)行加速。

單卡訓(xùn)練效率

系統(tǒng)集群訓(xùn)練時(shí)間對(duì)比

英特爾參加測(cè)評(píng)的系統(tǒng)使用64到96個(gè)不等的Intel Xeon Platinum 8380 處理器和256到389個(gè)不等的Intel Habana Gaudi2加速器。

然而，英特爾提交的GPT-3的訓(xùn)練時(shí)間為311分鐘。

成績(jī)和英偉達(dá)相比就稍微有點(diǎn)慘不忍睹了。

分析師：英偉達(dá)優(yōu)勢(shì)過(guò)大

行業(yè)分析師認(rèn)為，英偉達(dá)的在GPU上的技術(shù)優(yōu)勢(shì)是非常明顯的。

而它作為AI基礎(chǔ)設(shè)施提供商，在行業(yè)中的主導(dǎo)地位還體現(xiàn)在英偉達(dá)多年建立起來(lái)的生態(tài)系統(tǒng)粘性上。

AI社區(qū)對(duì)英偉達(dá)的軟件的依賴(lài)性也非常強(qiáng)。

幾乎所有AI框架都基于英偉達(dá)提供的底層CUDA庫(kù)和工具。

而且它還能提供全堆棧的AI工具和解決方案。

除了為AI開(kāi)發(fā)人員提供支持之外，英偉達(dá)還繼續(xù)投資用于管理工作負(fù)載和模型的企業(yè)級(jí)工具。

在可預(yù)見(jiàn)的未來(lái)，英偉達(dá)在行業(yè)的領(lǐng)先地位將會(huì)非常穩(wěn)固。

分析師還進(jìn)一步指出。

MLPerf測(cè)試結(jié)果中所展現(xiàn)的，NVIDIA系統(tǒng)在云端進(jìn)行AI訓(xùn)練的強(qiáng)大功能和效率，才是英偉達(dá)「戰(zhàn)未來(lái)」的最大本錢(qián)。

下一代Ada Lovelace GPU，2025年發(fā)布

Tom's Hardware自由撰稿人Zhiye Liu也于近日發(fā)文，介紹了下一代英偉達(dá)Ada Lovelace顯卡的計(jì)劃。

H100訓(xùn)練大模型的能力，毋庸置疑。

只用3584個(gè)H100，短短11分鐘內(nèi)，就能訓(xùn)練出一個(gè)GPT-3模型。

在最近的新聞發(fā)布會(huì)上，英偉達(dá)分享了一份新路線圖，詳細(xì)介紹了下一代產(chǎn)品，包括GeForce RTX 40系列Ada Lovelace GPU的繼任者，而前者，是當(dāng)今最好的游戲顯卡。

根據(jù)路線圖，英偉達(dá)計(jì)劃在2025年推出「Ada Lovelace-Next」顯卡。

如果繼續(xù)沿用當(dāng)前的命名方案，下一代GeForce產(chǎn)品應(yīng)該是作為GeForce RTX 50系列上市。

根據(jù)南美黑客組織LAPSU$得到的信息，Hopper Next很可能被命名為Blackwell。

在消費(fèi)級(jí)顯卡上，英偉達(dá)保持著兩年一更新的節(jié)奏。

他們?cè)?016年推出了Pascal，在2018年推出了Turing，在2020年推出了Ampere，在2022年推出了Ada Lovelace。

如果這次Ada Lovelace的繼任者會(huì)在2025年推出，英偉達(dá)無(wú)疑就打破了通常的節(jié)奏。

最近的AI大爆發(fā)，產(chǎn)生了對(duì)英偉達(dá)GPU的巨大需求，無(wú)論是最新的H100，還是上一代的A100。

根據(jù)報(bào)道，某大廠今年就訂購(gòu)了價(jià)值10億美元的Nvidia GPU。

盡管有出口限制，但我國(guó)仍然是英偉達(dá)在全世界最大的市場(chǎng)之一。

（據(jù)說(shuō)，在深圳華強(qiáng)北電子市場(chǎng)，就可以買(mǎi)到少量英偉達(dá)A100，每塊售價(jià)為2萬(wàn)美元，是通常價(jià)格的兩倍。）

對(duì)此，英偉達(dá)已經(jīng)對(duì)某些AI產(chǎn)品做了微調(diào)，發(fā)布了H100或A800等特定SKU，以滿(mǎn)足出口要求。

Zhiye Liu對(duì)此分析道，換個(gè)角度看，出口法規(guī)其實(shí)是有利于英偉達(dá)的，因?yàn)檫@意味著芯片制造商客戶(hù)必須購(gòu)買(mǎi)更多原版GPU的變體，才能獲得同等的性能。

這也就能理解，為什么英偉達(dá)會(huì)優(yōu)先考慮生成計(jì)算GPU，而非游戲GPU了。

最近的報(bào)道顯示，英偉達(dá)已經(jīng)增加了計(jì)算級(jí)GPU的產(chǎn)量。

沒(méi)有面臨來(lái)自AMD的RDNA 3產(chǎn)品堆棧的激烈競(jìng)爭(zhēng)，英特爾也沒(méi)有對(duì)GPU雙頭壟斷構(gòu)成嚴(yán)重威脅，因此，英偉達(dá)在消費(fèi)側(cè)可以拖延。

最近，Nvidia通過(guò)GeForce RTX 4060和GeForce RTX 4060 Ti，將其GeForce RTX 40系列產(chǎn)品堆棧又?jǐn)U大了。

GeForce RTX 4050以及頂部的RTX 4080 Ti或GeForce RTX 4090 Ti等，都有潛力。

如果迫不得已，英偉達(dá)還可以從舊的Turing版本中拿出一個(gè)產(chǎn)品，更新Ada Lovelace，給它封個(gè)「Super」待遇，進(jìn)一步擴(kuò)展Ada陣容。

最后，Zhiye Liu表示，至少今年或明年，Lovelace架構(gòu)不會(huì)真正更新。

參考資料：

https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/