開源和閉源AI的差距，進(jìn)一步被這家中國公司縮小了。

近日，被稱為“AI界拼多多”的中國人工智能初創(chuàng)公司深度求索（DeepSeek）發(fā)布了全新大模型DeepSeek-V3（下稱V3）并同步開源。該模型在Aider多語言編程測試排行榜中，已超越Anthropic的Claude 3.5 Sonnet大模型，僅次于榜首的OpenAI o1大模型。

開源No.1，多方面追平閉源大模型

DeepSeek是知名私募巨頭幻方量化旗下的人工智能公司，根據(jù)DeepSeek公布的測試結(jié)果，其運(yùn)行了多項(xiàng)基準(zhǔn)測試來比較性能，V3模型已明顯優(yōu)于包括Meta公司的Llama-3.1-405B和阿里云的Qwen 2.5-72B等一眾領(lǐng)先開源模型。在大多數(shù)基準(zhǔn)測試中，它甚至部分超越了OpenAI的閉源模型GPT-4o。

Deepseek-V3在多方面超越、追平各種開源、閉源大模型。Deepseek

首先是百科知識上，V3的知識類任務(wù)（MMLU, MMLU-Pro, GPQA, SimpleQA）水平相比前代 DeepSeek-V2.5 （下稱V2.5）顯著提升，接近當(dāng)前表現(xiàn)最好的模型 Claude-3.5-Sonnet-1022。長文本測評方面，在DROP、FRAMES 和 LongBench v2 上，V3 平均表現(xiàn)超越其他模型。

此外，V3 在算法類代碼場景（Codeforces），遠(yuǎn)遠(yuǎn)領(lǐng)先于市面上已有的全部非o1類模型，并在工程類代碼場景（SWE-Bench Verified）逼近 Claude-3.5-Sonnet-1022。

值得注意的是，V3在中文和數(shù)學(xué)相關(guān)基準(zhǔn)測試中表現(xiàn)尤為突出。

在美國數(shù)學(xué)競賽（AIME 2024, MATH）和全國高中數(shù)學(xué)聯(lián)賽（CNMO 2024）上，V3大幅超過了所有開源閉源模型。在中文能力上，V3 與 Qwen2.5-72B 在教育類測評 C-Eval 和代詞消歧等評測集上表現(xiàn)相近，但在事實(shí)知識 C-SimpleQA 上更為領(lǐng)先。

訓(xùn)練成本極低

按照美媒Venture Beat的說法，雖然V3已成為市場上最強(qiáng)大的開源模型，但其訓(xùn)練成本卻非常非常低。

通過在上一代DeepSeek-V2上的成功驗(yàn)證，V3沿用了可以大幅降低顯存占用的MLA（多頭潛注意）和DeepSeekMoE（混合專家）架構(gòu)，其具有6710億參數(shù)，每次推理激活370億參數(shù)，這種方法確保了高效的訓(xùn)練及推理。在訓(xùn)練階段，DeepSeek使用了多種硬件和算法優(yōu)化，包括FP8混合精度訓(xùn)練框架和用于管道并行的DualPipe算法，以降低訓(xùn)練成本。

V3基礎(chǔ)架構(gòu)，DeepSeek創(chuàng)新的MLA被用于高效推理，DeepSeekMoE則用于經(jīng)濟(jì)訓(xùn)練。DeepSeek論文

DeepSeek聲稱，V3 實(shí)現(xiàn)了極高的訓(xùn)練效率。在約278.8萬個英偉達(dá) H800 GPU小時(shí)內(nèi)完成了V3的整個訓(xùn)練，假設(shè)GPU的小時(shí)租金為2美元，總成本就是約為557萬美元。這遠(yuǎn)低于通常用于預(yù)訓(xùn)練大語言模型動輒上億美元的成本，比如Llama-3.1的預(yù)訓(xùn)練成本估計(jì)就超過5億美元。

DeepSeek還通過算法和工程上的創(chuàng)新，使V3的生成吐字速度從20TPS大幅提高至60TPS，相比V2.5模型實(shí)現(xiàn)了3倍的提升，在處理多模態(tài)數(shù)據(jù)和長文本時(shí)表現(xiàn)突出。而隨著性能更強(qiáng)、速度更快的V3更新上線，DeepSeek的模型API服務(wù)定價(jià)也調(diào)整為每百萬輸入tokens 0.5元（緩存命中）/2元（緩存未命中），每百萬輸出tokens 8元。

量化基金轉(zhuǎn)型人工智能

公開資料顯示，在DeepSeek背后是量化私募巨頭幻方（High-Flyer Quant），也是大廠外唯一一家儲備上萬張英偉達(dá) A100芯片的公司。幻方成立于2008年，總部位于中國杭州，專注于利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)進(jìn)行金融市場的量化分析和交易。

自2023年四季度以來，A股市場不斷下行，而利用數(shù)學(xué)模型和計(jì)算機(jī)程序等技術(shù)手段進(jìn)行投資決策的量化基金曾被作為“罪魁禍?zhǔn)住笔艿捷浾摰臎_擊，這也讓幻方旗下基金表現(xiàn)一直落后于滬深300指數(shù)4個百分點(diǎn)。

不過，隨著今年5月DeepSeek-V2發(fā)布，幻方量化卻成功轉(zhuǎn)型為人工智能先驅(qū)，其超低價(jià)格甚至引發(fā)了國內(nèi)大模型的價(jià)格戰(zhàn)，DeepSeek也被迅速冠以“AI界拼多多”之稱。這反映出百度和阿里巴巴等科技巨頭，盡管在生成式人工智能領(lǐng)域已處于領(lǐng)先地位，但仍需要面對著來自新玩家的激烈競爭。

幻方創(chuàng)始人梁文鋒此前曾回應(yīng)稱，DeepSeek定價(jià)原則就是不貼錢，但也不賺取暴利。只是讓他也沒想到的是，DeepSeek的定價(jià)卻讓各大廠商紛紛降價(jià)，然而DeepSeek自身反而卻是有利潤的。

“字節(jié)是第一個跟進(jìn)的，其旗艦?zāi)Ｐ徒档胶臀覀円粯拥膬r(jià)格，然后觸發(fā)了其它大廠紛紛降價(jià)”，梁文鋒解釋說，“因?yàn)榇髲S的模型成本比DeepSeek高很多，所以DeepSeek沒想到會有人虧錢做這件事，最后就變成了互聯(lián)網(wǎng)時(shí)代的燒錢補(bǔ)貼的邏輯。”

梁文鋒認(rèn)為，更多的投入并不一定產(chǎn)生更多的創(chuàng)新，否則大廠可以把所有的創(chuàng)新包攬了。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。