寫詩,、編程,、聊天互動(dòng)……打著“AI聊天機(jī)器人”名頭的ChatGPT,,集成了多種功能,,也一躍成為史上月活用戶數(shù)增長最快的消費(fèi)者應(yīng)用,。
ChatGPT的爆火,也讓人們注意到了AI應(yīng)用背后龐大的算力需求與挑戰(zhàn),。
中科曙光便表示,,截止2月12日,曙光智算公司提供用于AI訓(xùn)練與推理計(jì)算的試用資源,,在開放使用后一周內(nèi)已被搶注一空,。
通常情況下,這些計(jì)算資源要三個(gè)月左右才能被用戶注冊并使用,。目前,,曙光智算正協(xié)調(diào)多個(gè)計(jì)算中心,提供更多算力資源滿足用戶需求,。
而在上周,,浪潮信息也宣布推出AI算力服務(wù)產(chǎn)品,基于智算中心的算力基礎(chǔ)設(shè)施,,客戶可申請AI算力免費(fèi)試用,。
實(shí)際上,以ChatGPT為首的生成式AI開發(fā)主要依托于大模型技術(shù),,這就離不開算力支撐,。
而在算力基建中,除了芯片之外,,AI服務(wù)器,、AIDC等專用數(shù)據(jù)中心建設(shè)也同樣必不可少。
就在2月13日,,北京市宣布,,將支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型。
同日北京昇騰人工智能計(jì)算中心正式點(diǎn)亮,,并與首批47家企業(yè)和科研單位簽約,。該中心一期算力規(guī)模達(dá)100P,短期算力規(guī)模將達(dá)500P,,遠(yuǎn)期將達(dá)1000P,,可為企業(yè)和科研單位等提供AI算力服務(wù)。
的確,,AI對算力的需求已不能僅僅用“快速”來形容——據(jù)ChatGPT開發(fā)公司OpenAI 研究,,2012-2018年,最大的AI訓(xùn)練的算力消耗已增長30萬倍,,平均每3個(gè)多月便翻倍,,速度遠(yuǎn)遠(yuǎn)超過摩爾定律。
另據(jù)《2022-2023 中國人工智能計(jì)算力發(fā)展評估報(bào)告》,,2022年我國智能算力規(guī)模已達(dá)268百億億次/秒(EFLOPS),,超過通用算力規(guī)模。預(yù)計(jì)未來5年,中國智能算力規(guī)模年復(fù)合增長率將達(dá)52.3%,。
圖|人工智能算法計(jì)算量發(fā)展趨勢(來源:中信建投)
生成式AI的開發(fā)需要基于海量的自然語言或多模態(tài)數(shù)據(jù)集,,對擁有巨大參數(shù)的超大規(guī)模模型進(jìn)行訓(xùn)練,。
要成功訓(xùn)練出更大參數(shù)、更高精度,、更高能力的大模型,,不僅需要巨量的高性能AI算力進(jìn)行支撐,還需要依托精心清洗獲得的高質(zhì)量海量數(shù)據(jù)集,,同時(shí)還需要有高效的系統(tǒng)平臺來保障長時(shí)間的模型訓(xùn)練過程,。
以O(shè)penAI的GPT-3模型為例,其存儲知識的能力來源于1750億參數(shù),,訓(xùn)練所需算力高達(dá)3640PFLOPS-day,,單次訓(xùn)練費(fèi)用約460萬美元,而ChatGPT及未來GPT-4模型訓(xùn)練成本將更高,。
當(dāng)前,,微軟Azure云計(jì)算中心為ChatGPT提供算力支撐,單次訓(xùn)練成本超過千萬美元,。
華泰證券2月13日報(bào)告也指出,,以GPT模型為代表的AI大模型訓(xùn)練,需要消耗大量算力資源,,隨著國產(chǎn)大模型開發(fā)陸續(xù)進(jìn)入預(yù)訓(xùn)練階段,,算力需求持續(xù)釋放或?qū)?dòng)算力基礎(chǔ)設(shè)施產(chǎn)業(yè)迎來增長新周期。
未來擁有更豐富算力資源的模型開發(fā)者,,或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型,,算力霸權(quán)時(shí)代或?qū)㈤_啟。
文章出處:財(cái)聯(lián)社