百度文心大模型4.0即將發(fā)布,萬(wàn)卡訓(xùn)練史上最大參數(shù)模型
10月10日,記者從百度內(nèi)部人士基本確認(rèn)了該消息,據(jù)悉,即將推出的文心大模型4.0的參數(shù)量、訓(xùn)練數(shù)據(jù)量以及推理成本等都比3.5高出一個(gè)數(shù)量級(jí)。
今年3月16日,百度官宣新一代大語(yǔ)言模型“文心一言”啟動(dòng)邀測(cè),8月31日正式面向公眾開放服務(wù)。如今,文心大模型即將再度升級(jí)發(fā)布4.0版,如此迅速的大模型升級(jí)速度,在國(guó)內(nèi)尚屬唯一。只不過,快速升級(jí)的背后,文心大模型4.0快速攀升的參數(shù)量、數(shù)據(jù)量所帶來的訓(xùn)練和推理成本提升,也正在成為大模型商業(yè)化過程中需要考慮的重點(diǎn)。
據(jù)此前消息報(bào)道,相比文心大模型3.5,文心4.0不僅訓(xùn)練成本在增加,推理成本也增加了很多,大概是此前的8-10倍。一直以來,百度并未對(duì)外披露大模型訓(xùn)練、推理的各項(xiàng)成本,不過據(jù)國(guó)盛證券此前估算,GPT-3訓(xùn)練一次的成本約為140萬(wàn)美元,對(duì)于一些更大的LLM模型(如擁有2800億參數(shù)的Gopher和擁有5400億參數(shù)的PaLM),訓(xùn)練成本介于200萬(wàn)美元至1200萬(wàn)美元之間。作為國(guó)內(nèi)大語(yǔ)言模型代表,文心一言想要在性能上追趕甚至超越ChatGPT等國(guó)外同行,所需耗費(fèi)的資金成本,恐怕也將與之相當(dāng)。
過高的訓(xùn)練和推理成本壓力下,在打造領(lǐng)先的底層基礎(chǔ)大模型的路上,注定只能是一場(chǎng)巨頭間的游戲。不過對(duì)于百度而言,由于具備萬(wàn)卡集群、飛槳、文心大模型以及豐富的百度應(yīng)用生態(tài)優(yōu)勢(shì),獨(dú)具芯片、框架、模型及應(yīng)用四層架構(gòu)優(yōu)勢(shì),更具技術(shù)競(jìng)爭(zhēng)力。
在進(jìn)一步降低大模型算力成本和時(shí)間成本上,百度萬(wàn)卡集群的整體優(yōu)勢(shì)已得到充分體現(xiàn)——在萬(wàn)卡集群訓(xùn)練大模型時(shí),常規(guī)方法下工程師們有30%-40%時(shí)間都花在容錯(cuò)和故障恢復(fù)上,而在百度智能云自研的集群組網(wǎng)故障管理機(jī)制下,模型有效訓(xùn)練時(shí)間達(dá)到95%以上,人力及算力資源均得到了利用。
真金白銀投入的背后,目前國(guó)外大模型廠商已開始嘗試收費(fèi)模式,無論是在面向企業(yè)客戶的B端垂類大模型開發(fā),還是面向消費(fèi)群體的To C付費(fèi)產(chǎn)品,均有不少案例。例如,在面向C端消費(fèi)者付費(fèi)領(lǐng)域,目前GPT-4已推出“每月支付20美元訂閱費(fèi)”的收費(fèi)模式。
可以預(yù)見,不遠(yuǎn)的將來,以百度為代表的大模型企業(yè)們,或?qū)㈥懤m(xù)推出收費(fèi)模式。在To C大模型AI應(yīng)用層面,類似愛奇藝或百度網(wǎng)盤VIP會(huì)員的收費(fèi)模式,也將不斷浮現(xiàn),逐漸培養(yǎng)用戶付費(fèi)習(xí)慣。
網(wǎng)友評(píng)論
智能應(yīng)用排行
- 網(wǎng)易 UU 加速器完成鴻蒙原生應(yīng)用開發(fā),上線 HarmonyOS
- 蘋果官方認(rèn)可“越獄”術(shù)語(yǔ):特殊版iPhone罕見現(xiàn)身 用于查找
- 京東11.11再次發(fā)力數(shù)字人:成本更低、直播流量?jī)A斜,成電商
- 釘釘公布數(shù)據(jù):用戶數(shù)7億 軟件付費(fèi)企業(yè)數(shù)12萬(wàn)
- AI大模型讓智慧交通“更聰明” 海信亮相2024世界人工智能大
- 沃爾瑪?shù)娜斯ぶ悄芰闶鄣暌严蚬婇_放
- 歐瑞博攜手南方科技大學(xué)打造智能新能源住宅技術(shù)聯(lián)合實(shí)驗(yàn)室
- 都是科技的狠活?2024中國(guó)國(guó)際消費(fèi)電子博覽會(huì)即將全新亮相
- 百度:智能云業(yè)務(wù)Q1營(yíng)收47億元,生成式AI貢獻(xiàn)比例達(dá)6.9%
延伸閱讀
- 多家媒體官宣接入百度文心一言
- 一段視頻 帶你看一場(chǎng)跨越百年的AI
- 海爾“歐洲版”智慧家庭IFA GPC亮相
- 沃爾瑪?shù)娜斯ぶ悄芰闶鄣暌严蚬婇_放
- 現(xiàn)場(chǎng)直擊今年最大科技盛會(huì),AIoT獨(dú)角獸涂鴉智能又有哪些發(fā)布
- 日本推出世界首個(gè)“虛擬警備員” 真人大小、AI加持
- 助力智能產(chǎn)品出海 涂鴉云成幕后真正大腦
- 海爾發(fā)布首個(gè)智能學(xué)校解決方案 引領(lǐng)物聯(lián)網(wǎng)時(shí)代教育信息化改
- 涂鴉“Thoth”:掌控?cái)?shù)百設(shè)備的“超級(jí)隊(duì)長(zhǎng)”,打擊偽智能
- 涂鴉“Aladdin”:讓APP定制像搭積木一樣簡(jiǎn)單
最新智能應(yīng)用
- 京東11.11再次發(fā)力數(shù)字人:成本更低、直播流量?jī)A
- 歐瑞博攜手南方科技大學(xué)打造智能新能源住宅技術(shù)聯(lián)
- 網(wǎng)易 UU 加速器完成鴻蒙原生應(yīng)用開發(fā),上線 H
- 都是科技的狠活?2024中國(guó)國(guó)際消費(fèi)電子博覽會(huì)即將
- 百度沈抖:百舸4.0升級(jí)發(fā)布,模型訓(xùn)練有效時(shí)長(zhǎng)達(dá)
- 華為云發(fā)布AI原生云基礎(chǔ)設(shè)施架構(gòu)CloudMatrix,新
- 阿里CEO吳泳銘:AI算力需求滲透率已超50%,正主導(dǎo)
- 羅技發(fā)布 G PRO 2 LIGHTSPEED(GPW4 朱雀)
- 華為:將啟動(dòng)“鴻蒙生態(tài)伙伴及開發(fā)者見非凡體驗(yàn)計(jì)
- 華為運(yùn)動(dòng)健康發(fā)布玄璣感知系統(tǒng) 華為手表或?qū)⒅С?/a>