谷歌自稱AI超級(jí)計(jì)算機(jī)比英偉達(dá)A100更快、更環(huán)保
谷歌擁有自主定制的TPU芯片,其90%以上的人工智能訓(xùn)練任務(wù)都通過(guò)這些芯片完成。人工智能訓(xùn)練指的是為模型投喂數(shù)據(jù),使之可以具備類似人類的文本聊天和圖片生成能力。
谷歌TPU目前已經(jīng)是第四代產(chǎn)品。該公司周二發(fā)布了一篇論文,詳細(xì)闡述了該公司如何利用自己定制的光開(kāi)關(guān)將4000多個(gè)芯片組合到一臺(tái)超級(jí)計(jì)算機(jī)中,從而將一臺(tái)臺(tái)的獨(dú)立機(jī)器連接在一起。
改善這些連接的效果已經(jīng)成為科技公司開(kāi)發(fā)人工智能超級(jí)計(jì)算機(jī)時(shí)的重要競(jìng)爭(zhēng)點(diǎn),這是因?yàn)楣雀鐱ard和OpenAI的ChatGPT使用的大語(yǔ)言模型規(guī)模急劇擴(kuò)大,無(wú)法使用單一芯片完成。
這些模型必須分配到數(shù)千個(gè)芯片上運(yùn)行,由這些芯片共同協(xié)作數(shù)周甚至更長(zhǎng)時(shí)間來(lái)訓(xùn)練模型。PaLM是谷歌迄今為止公開(kāi)披露的規(guī)模最大的語(yǔ)言模型,該模型需要分配到兩臺(tái)各包含4000個(gè)芯片的超級(jí)計(jì)算機(jī)中,耗時(shí)50多天進(jìn)行訓(xùn)練。
谷歌表示,該公司的超級(jí)計(jì)算機(jī)使之可以在運(yùn)行過(guò)程中輕松對(duì)芯片間的連接進(jìn)行重新配置,有助于避免問(wèn)題和調(diào)整性能。
“電路切換可以輕松繞過(guò)故障組件。”谷歌院士諾姆·喬皮(Norm Jouppi)和谷歌杰出工程師大衛(wèi)·帕特森(David Patterson)在博文中寫道,“這種靈活性甚至可以讓我們改變超級(jí)計(jì)算機(jī)的互聯(lián)拓?fù)錂C(jī)構(gòu),從而加快機(jī)器學(xué)習(xí)模型的性能。”
雖然谷歌現(xiàn)在才剛剛公布其超級(jí)計(jì)算機(jī)的技術(shù)細(xì)節(jié),但這套系統(tǒng)2020年就已經(jīng)應(yīng)用到該公司位于奧克拉荷馬州的數(shù)據(jù)中心。谷歌表示,創(chuàng)業(yè)公司Midjourney使用該系統(tǒng)訓(xùn)練其模型,他們開(kāi)發(fā)的工具只需要簡(jiǎn)單的文本就可以生成全新的圖像。
谷歌在論文中表示,與第四代TPU同期上市的英偉達(dá)A100芯片相比,該公司的芯片速度達(dá)到A100的1.7倍,能耗效率達(dá)到A100的1.9倍。
英偉達(dá)發(fā)言人拒絕對(duì)此置評(píng)。
谷歌表示,他們并沒(méi)有將第四代TPU與英偉達(dá)現(xiàn)有的H100旗艦芯片進(jìn)行對(duì)比,這是因?yàn)楹笳甙l(fā)布時(shí)間較晚,而且采用了更新的技術(shù)。
谷歌暗示,他們可能正在開(kāi)發(fā)能夠與英偉達(dá)H100抗衡的新一代TPU,但并未披露細(xì)節(jié)信息。喬皮接受采訪時(shí)表示,谷歌擁有“未來(lái)芯片的健康管線”。
網(wǎng)友評(píng)論
電腦相機(jī)排行
- 蘋果 AirTag 2 將于明年上半年推出,定位更精準(zhǔn)
- 詞典筆到底值不值得入手?該如何選擇?
- 小米申請(qǐng)相機(jī)模組專利,實(shí)現(xiàn)拍攝遠(yuǎn)近不同物體的功能
- 英特爾酷睿Ultra處理器發(fā)布:AI PC有啥新玩法
- 影馳 20 周年紀(jì)念款內(nèi)存條開(kāi)賣:DDR5-7200 24G*2,2199 元
- 小米發(fā)布澎湃OS技術(shù)白皮書 5款機(jī)型將于今日起開(kāi)始陸續(xù)推送
- 41498港幣起 聯(lián)拯救者Y9000K 2023旗艦游戲本港版上市
- 主帥生變 妙鴨相機(jī)還妙不妙
- 中一光學(xué)發(fā)布90mm/1.5全幅無(wú)反鏡頭
- 華碩靈耀14 2023高性能長(zhǎng)續(xù)航輕薄本,雙十一移動(dòng)辦公首選
延伸閱讀
- Opera成為首個(gè)適配谷歌Chromebook的第三方瀏覽器
- 消息稱英偉達(dá)RTX 3090將提供50%的性能提升
- 英偉達(dá)新款旗艦GPU顯卡首發(fā) “一卡難求”盛況不再
- AMD料將披露AI超級(jí)芯片新細(xì)節(jié) 或成英偉達(dá)有力挑戰(zhàn)者
- 英偉達(dá)黃仁勛:計(jì)算已經(jīng)從根本上改變 再買一大堆CPU沒(méi)意義
- 英偉達(dá)推出速度更快處理器 力圖鞏固AI領(lǐng)域主導(dǎo)地位
- 英特爾發(fā)9代酷睿標(biāo)壓筆記本處理器:8核5GHz達(dá)成
- 任天堂將推兩款新游戲機(jī):廉價(jià)款6月發(fā)/增強(qiáng)版年底見(jiàn)
- 索尼A7S3相機(jī)可能不夠完美!
- 三星新平板上市 17.3英寸巨屏售價(jià)5000元
最新電腦相機(jī)
- 蘋果 AirTag 2 將于明年上半年推出,定位更精準(zhǔn)
- 羅巍曬榮耀相機(jī)新算法,消息稱照片由 Magic7 手
- 華為路由BE7系列發(fā)布,售價(jià)599元起
- 余承東:華為PC或?qū)⑹亲詈笠慌钶dWindows的筆記
- Apple Arcade 十月新增多款游戲,包括《NBA 2
- 紅魔電競(jìng)平板Pro發(fā)布,首發(fā)第三代驍龍8領(lǐng)先版399
- 宏碁發(fā)布 Project DualPlay 概念筆記本:觸控
- 中國(guó)筆記本線上市場(chǎng)最新排名:聯(lián)想第一、戴爾跌至
- 首批 8 款 GDDR6 顯存版 GeForce RTX 407
- 延長(zhǎng) 2 年保修,英特爾為存在不穩(wěn)定情況的第