國內(nèi)大模型企業(yè)的十萬卡時(shí)代，真的要來了嗎？

9月25日，百度發(fā)布了全面升級(jí)的百舸AI異構(gòu)計(jì)算平臺(tái)4.0，百度智能云事業(yè)群總裁沈抖直言，百舸4.0就是部署十萬卡大規(guī)模集群而設(shè)計(jì)的。

百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖觀察者網(wǎng)

而就在幾天前，阿里云宣布其靈駿單網(wǎng)絡(luò)集群已拓展至10萬卡級(jí)別。此前，騰訊也發(fā)布了支持十萬卡集群的星脈網(wǎng)絡(luò)2.0。

一度還停留在設(shè)想層面的十萬卡集群，突然成為輿論焦點(diǎn)是在9月初。馬斯克突然宣布在短短122天內(nèi)建成10萬張英偉達(dá)H100顯卡的Colossus集群，意味著其算力可能已經(jīng)超過OpenAI。

由顯卡規(guī)模撐起的算力水平，是決定大模型性能的最重要指標(biāo)之一。一般認(rèn)為，1萬枚英偉達(dá)A100芯片，是做好AI大模型的算力門檻。

建一個(gè)萬卡集群，單是GPU的采購成本就高達(dá)幾十億，因此國內(nèi)能夠部署萬卡規(guī)模集群的，原本就只有阿里、百度等寥寥幾家大廠。而想要部署十萬卡集群，其“燒錢”程度可想而知。

除了資金成本，十萬卡集群同樣面臨巨大的技術(shù)挑戰(zhàn)。沈抖指出，GPU是一種很敏感的硬件，連一天之內(nèi)氣溫的波動(dòng)，都會(huì)影響到GPU的故障率，而且規(guī)模越大，出故障的概率就越高?！癕eta訓(xùn)練llama3的時(shí)候，用了1.6萬張GPU卡的集群，平均每3小時(shí)就會(huì)出一次故障。”

此外，區(qū)別于傳統(tǒng)CPU集群的串行特點(diǎn)，大模型訓(xùn)練過程需要全部顯卡同時(shí)參與并行計(jì)算，對(duì)網(wǎng)絡(luò)傳輸能力也提出了更大的挑戰(zhàn)。

相比于美國同行，中國大模型企業(yè)還面臨一重特殊的困難，無法像馬斯克那樣全部采用英偉達(dá)方案，而是需要使用包括國產(chǎn)GPU在內(nèi)的異構(gòu)芯片。這也意味著，即使同樣十萬張顯卡，國內(nèi)企業(yè)在算力規(guī)模上也很難同美國企業(yè)匹敵。

在上述三重挑戰(zhàn)之下，國內(nèi)大模型企業(yè)的進(jìn)步速度也有目共睹。

據(jù)沈抖介紹，百舸4.0在萬卡集群上實(shí)現(xiàn)了有效訓(xùn)練時(shí)長(zhǎng)占比99.5%以上，業(yè)界領(lǐng)先，并通過在集群設(shè)計(jì)、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等一系列創(chuàng)新，大幅提升了集群的模型訓(xùn)練效率，整體性能相比業(yè)界平均水平提升高達(dá)30%。

而阿里云CTO周靖人此前也透露，目前阿里云的萬卡算力集群可以實(shí)現(xiàn)大于99%以上連續(xù)訓(xùn)練有效時(shí)長(zhǎng)，模型算力利用率可提升20%以上。

但隨著性能提升，大模型成本問題只會(huì)越來越引人注目。單從能耗來看，沈抖透露，十萬卡集群每天就要消耗大約300萬千瓦時(shí)的電力，相當(dāng)于北京市東城區(qū)一天的居民用電量。

一位開發(fā)者向觀察者網(wǎng)直言，盡管在過去一年中大模型廠商的降價(jià)幅度確實(shí)可觀，但這更多是平臺(tái)補(bǔ)貼開發(fā)者的結(jié)果，并非根本解決之道。

對(duì)此，阿里云方面強(qiáng)調(diào)，AI發(fā)展仍然處在一個(gè)非常早期的階段，必須要靠降價(jià)帶動(dòng)應(yīng)用爆發(fā)，而阿里云搞AI大基建，并不會(huì)只算眼前賬。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。