中國(guó)不僅有DeepSeek，還有通義千問(wèn)。

阿里云通義團(tuán)隊(duì)于大年初一發(fā)布旗艦?zāi)Ｐ汀癚wen2.5-Max”，已成為繼深度求索（DeepSeek）后，第二家可以比肩美國(guó)OpenAI公司o1系列的中國(guó)大語(yǔ)言模型。

近日，三方基準(zhǔn)測(cè)試平臺(tái)LMArena的大語(yǔ)言模型盲測(cè)榜單（“ChatBot Arena LLM”）最新排名顯示，“Qwen2.5-Max”以1332分排總榜第7名，超過(guò)了深度求索的“DeepSeek-V3”以及OpenAI的“o1-mini”。而在數(shù)學(xué)和編程方面，“Qwen2.5-Max”則排名第1，在Hard prompts方面排名第2。

“ChatBot Arena LLM”榜單由美國(guó)加州大學(xué)伯利克分校天空計(jì)算實(shí)驗(yàn)室與LMArena聯(lián)合開發(fā)，通過(guò)用戶盲測(cè)的方式，覆蓋了對(duì)話、代碼、圖文生成、網(wǎng)頁(yè)開發(fā)等多維度能力評(píng)估，最終基于260萬(wàn)票結(jié)果反映出197個(gè)模型在真實(shí)體驗(yàn)下的排名情況，也是業(yè)內(nèi)公認(rèn)的權(quán)威榜單。

該榜單最新的更新時(shí)間為當(dāng)?shù)貢r(shí)間的2月2日，其中OpenAI的多個(gè)版本模型占據(jù)高位，比如第3位的“ChatGPT-4o”，同時(shí)還有谷歌的“Gemini-2.0”、xAI的“Grok-2”等，但這些模型均為閉源模型。

而在開源模型方面，“DeepSeek-R1”一騎絕塵，與“ChatGPT-4o-latest”并列榜單第3，緊隨其后的就是排名第7的阿里云通義“Qwen-max-2025-01-25”（即Qwen2.5-Max），“DeepSeek-V3”和中國(guó)智譜模型“GLM-4-Plus-0111”則分別排名第8、第9，而階躍星辰的“Step-2-16K-Exp”模型則與“o1-Mini”并列第10。榜單前10名中有5個(gè)中國(guó)大語(yǔ)言模型，也體現(xiàn)出中國(guó)人工智能團(tuán)隊(duì)在全球范圍內(nèi)的強(qiáng)技術(shù)競(jìng)爭(zhēng)力。

去年6月、9月，阿里云通義模型也曾兩度登頂全球最強(qiáng)開源模型的寶座，但由于未能追平超越閉源模型，討論熱度不及12月的DeepSeek-V3。今年1月29日凌晨1時(shí)，阿里云通義團(tuán)隊(duì)正式對(duì)外發(fā)布“Qwen2.5-Max”，該模型采用超大規(guī)?；旌蠈＜遥∕oE, Mixture of Experts）架構(gòu)，訓(xùn)練數(shù)據(jù)超過(guò)20萬(wàn)億tokens，并在知識(shí)（測(cè)試大學(xué)水平知識(shí)的MMLU-Pro）、編程（LiveCodeBench）、全面評(píng)估綜合能力的（LiveBench）以及人類偏好對(duì)齊（Arena-Hard）等主流權(quán)威基準(zhǔn)測(cè)試上，展現(xiàn)出全球領(lǐng)先的模型性能。

值得注意的是，“Arena-Hard”項(xiàng)主要測(cè)試模型在復(fù)雜指令理解和多輪對(duì)話中的表現(xiàn)，涵蓋了各種領(lǐng)域的知識(shí)和任務(wù)，并且打分的時(shí)候要嚴(yán)格對(duì)齊人類偏好。其中，對(duì)游戲開發(fā)、數(shù)學(xué)證明等專業(yè)項(xiàng)會(huì)給予較高分?jǐn)?shù)，而對(duì)類似全球餐廳推薦、送禮創(chuàng)意等答案會(huì)出現(xiàn)模棱兩可情況的問(wèn)題給予較低權(quán)重，“評(píng)委”則通常也由國(guó)外模型擔(dān)當(dāng)。而這種情況下，“Qwen2.5-Max”在該基準(zhǔn)測(cè)試中仍能夠迅速分析問(wèn)題，整合相關(guān)知識(shí)，給出全面且準(zhǔn)確的回答，最終以89.4分超越全部對(duì)比模型（DeepSeek-V3、Llama-3.1-405B-Inst、GPT-4o-0806、Claude-3.5-Sonnet-1022）。

據(jù)阿里云稱，由于無(wú)法訪問(wèn)“GPT-4o”和“Claude-3.5-Sonnet”等閉源模型的基座模型，通義團(tuán)隊(duì)將“Qwen2.5-Max”與目前領(lǐng)先的開源MoE模型“DeepSeek V3”、最大的開源稠密模型“Llama-3.1-405B”，以及同樣位列開源稠密模型前列的“Qwen2.5-72B”進(jìn)行了對(duì)比。在包括MMLU等所有11項(xiàng)基準(zhǔn)測(cè)試中，Qwen2.5-Max全部超越了對(duì)比模型。

對(duì)此，ChatBot Arena官方給出評(píng)價(jià)：“（Qwen2.5-Max）在多個(gè)領(lǐng)域表現(xiàn)強(qiáng)勁，特別是專業(yè)技術(shù)向的（編程、數(shù)學(xué)、硬提示等）?！?

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。