評測：英偉達(dá)H100可11分鐘搞定基于GPT-3的大模型訓(xùn)練

　　昨天，機器學(xué)習(xí)及人工智能領(lǐng)域開放產(chǎn)業(yè)聯(lián)盟MLCommons披露的MLPerf基準(zhǔn)評測最新數(shù)據(jù)顯示，英偉達(dá)H100芯片組在人工智能算力表現(xiàn)的測試中，刷新了所有組別的紀(jì)錄，也是唯一一個能夠跑完所有測試的硬件平臺。

　　MLPerf是由學(xué)術(shù)界、實驗室和產(chǎn)業(yè)組成的人工智能領(lǐng)袖聯(lián)盟，是目前國際公認(rèn)的權(quán)威AI性能評測基準(zhǔn)。Training v3.0包含8種不同的負(fù)載，包括視覺(影像分類、生物醫(yī)學(xué)影像分割、兩種負(fù)載的物體偵測)、語言(語音識別、大語言模型、自然語言處理)和推薦系統(tǒng)。簡單來說，就是由不同的設(shè)備供應(yīng)商提交完成基準(zhǔn)任務(wù)所需要的時間。

　　在投資者比較關(guān)注的“大語言模型”訓(xùn)練測試中，英偉達(dá)和GPU云算力平臺CoreWeave提交的數(shù)據(jù)為這項測試設(shè)定了殘酷的業(yè)界標(biāo)準(zhǔn)。在896個英特爾至強8462Y+處理器和3584個英偉達(dá)H100芯片的齊心協(xié)力下，僅僅花了10.94分鐘就完成了基于GPT-3的大語言模型訓(xùn)練任務(wù)。

　　除了英偉達(dá)外，只有英特爾的產(chǎn)品組合在這個項目上獲得評測數(shù)據(jù)。由96個至強8380處理器和96個Habana Gaudi2 AI芯片構(gòu)建的系統(tǒng)中，完成同樣測試的時間為311.94分鐘。橫向?qū)Ρ龋�使�?68個H100芯片的平臺跑完這個測試也只需要45.6分鐘。