-
十年前的手機(jī)都能跑,阿里掏出了最適合落地的小模型?
(文/陳濟(jì)深 編輯/張廣凱)
上個(gè)月,阿里巴巴旗下的通義平臺(tái)正式推出了新一代模型Qwen3,登頂全球最強(qiáng)開源模型榜單。
值得注意的是,Qwen3系列模型共包含8款不同尺寸,除了兩個(gè)參數(shù)為30B和235B的MoE(混合專家系統(tǒng))大模型外,阿里本次推出了6款Dense(稠密)模型,6個(gè)是稠密模型,參數(shù)從0.6B到32B不等。
阿里一向非常重視小尺寸模型,這也算不上新聞了,不過其中最小的0.6B模型參數(shù)量?jī)H為6億,作為對(duì)比,2019年2月發(fā)布的GPT-2參數(shù)量都有15億。這個(gè)模型的實(shí)際表現(xiàn)如何,讓人相當(dāng)好奇。
為此,我們請(qǐng)教了一些專業(yè)開發(fā)者,并且自己也進(jìn)行了測(cè)試,發(fā)現(xiàn)即使10年前的手機(jī)芯片都足以支持這款模型的推理運(yùn)算,實(shí)際回答效果也能夠差強(qiáng)人意。而4B、8B等參數(shù)量的模型則有著更好的表現(xiàn)。
對(duì)于一次性更新八個(gè)開源模型的原因,阿里云CTO周靖人表示:不同模型其實(shí)就是盡量滿足從個(gè)人到企業(yè)的不同開發(fā)者的需求。比如手機(jī)端側(cè)可以用4B,電腦或汽車端側(cè)推薦8B,32B是企業(yè)最喜歡的尺寸,能商用大規(guī)模部署。
除了尺寸之外,有開發(fā)者指出,采用稠密架構(gòu)的小模型,也比MoE的稀疏架構(gòu)更適合企業(yè)的實(shí)際業(yè)務(wù)場(chǎng)景。在可以預(yù)見的未來,B端市場(chǎng)還是大模型變現(xiàn)的最重要場(chǎng)景,憑借快人一步的小尺寸模型布局,阿里正在這場(chǎng)競(jìng)爭(zhēng)中搶占先機(jī)。
什么是稠密模型?
所謂稠密模型(Dense模型),是指神經(jīng)網(wǎng)絡(luò)中層內(nèi)神經(jīng)元之間通過全連接(Fully Connected)方式連接,且所有參數(shù)對(duì)所有輸入樣本全局共享的模型。
相比使用稀疏模型MoE架構(gòu)只會(huì)調(diào)用部分的參數(shù)資料,Dense模型對(duì)于任意輸入,模型的所有參數(shù)都會(huì)被激活并參與計(jì)算。
早期人們熟悉的大模型,都是以稠密架構(gòu)為主。
以O(shè)penAI為例,其GPT系列在GPT3前均使用了Dense模型,而后續(xù)GPT版本由于其閉源的特性,我們暫時(shí)不得而知其采用了哪類架構(gòu)。
作為深度學(xué)習(xí)的 “基石”,稠密模型其核心價(jià)值在于簡(jiǎn)單性、高效性和普適性,適用于大多數(shù)標(biāo)準(zhǔn)化、實(shí)時(shí)性或資源受限的場(chǎng)景。
但是隨著Scaling Law之下,大模型訓(xùn)練所需的參數(shù)量呈幾何增長(zhǎng),稠密模型的訓(xùn)練成本逐漸讓人難以承受,并且能力提升幅度也逐漸遭遇瓶頸,暴露了較難適應(yīng)多樣化場(chǎng)景的問題。為此,MoE(混合專家系統(tǒng))模型作為解決方案應(yīng)運(yùn)而生。
相比于參數(shù)愈發(fā)膨脹的稠密模型,MoE架構(gòu)是節(jié)約資源的一種設(shè)計(jì),通過引入稀疏門控機(jī)制,每次執(zhí)行任務(wù)時(shí)只需要激活少數(shù)相關(guān)的子模型,從而降低訓(xùn)練和推理成本。DeepSeek V3就是憑借MoE架構(gòu),實(shí)現(xiàn)了驚人的成本下降。
但是MoE架構(gòu)也有缺點(diǎn),如增加通信成本、微調(diào)中容易出現(xiàn)過擬合等。而稠密模型由于推理時(shí)計(jì)算路徑固定,無動(dòng)態(tài)路由開銷,反而相比Moe架構(gòu)更加適合實(shí)時(shí)在線客服、商品推薦、金融風(fēng)控等需要低延遲響應(yīng)的場(chǎng)景。
稠密模型除了有更加合適的匹配場(chǎng)景,對(duì)于個(gè)人開發(fā)者而言,Pytorch、TensorFlow等深度學(xué)習(xí)工具鏈對(duì)稠密模型的優(yōu)化已非常成熟,從分布式訓(xùn)練到量化壓縮,形成了完整的技術(shù)棧。而MoE模型的工程實(shí)現(xiàn)由于還處在技術(shù)迭代階段,相比Dense模型沒有一套完整成熟的方案,對(duì)于個(gè)人開發(fā)者落地成本較高。
小模型能跑成啥樣?
那么作為小而美的模型,其運(yùn)行門檻到底有多低?又會(huì)不會(huì)存在小而弱的情況呢?
在運(yùn)行門檻層面,有開發(fā)者對(duì)觀察者網(wǎng)表示,其成功將Qwen3 0.6B模型安裝在一款搭載4核2.4G的CPU的設(shè)備中并成功運(yùn)行。
開發(fā)者將Qwen 0.6B植入應(yīng)用生成回答
如果要用手機(jī)芯片對(duì)比該CPU,最為接近的是發(fā)售于2014年的驍龍801芯片。該芯片為28nm制程,搭載4核2.5G CPU,并搭載了一顆Adreno 330的GPU,當(dāng)年發(fā)售的小米4、三星Galaxy S5、OPPO Find7等手機(jī)均采用了該款芯片。
而這款當(dāng)年的旗艦芯片放到2025年是妥妥的過時(shí)硬件,以小天才電話手表Z10為例,其搭載的高通W5芯片采用4nm架構(gòu),四核Cortex-A53的CPU,在Geekbench5單核跑分約500分,碾壓了驍龍801的200分。也就是說單核角度,現(xiàn)在小天才電話手表的CPU都是驍龍801的兩倍。
更值得注意的是,該開發(fā)者表示,其采用的設(shè)備只有CPU,沒有GPU。也就是說無論是10年前的小米手機(jī),還是如今的小天才電話手表,都硬件性能都能支持順利運(yùn)行Qwen3 0.6B的模型。
觀察者網(wǎng)也在iPhone 16 Pro Max(2024年上市,搭載蘋果3nm制程A18 Pro芯片)和索尼Xperia Z5(2015年上市,搭載高通20nm制程驍龍810芯片)上進(jìn)行了測(cè)試。
在沒有任何優(yōu)化的情況下,兩款手機(jī)均能運(yùn)行Qwen3 0.6B參數(shù)的Dense模型。不過在響應(yīng)速度上,在關(guān)閉推理模式時(shí),蘋果手機(jī)可以做到實(shí)時(shí)響應(yīng),索尼手機(jī)可以做到延遲1秒左右響應(yīng),而在開啟了推理模式后,蘋果手機(jī)則依然能迅速響應(yīng),索尼手機(jī)則需要接近10秒的時(shí)間才能響應(yīng),出現(xiàn)了顯著的延遲情況。
而在具體的問答環(huán)節(jié),在沒有任何優(yōu)化和適配的情況下,對(duì)其提問“天空為何是藍(lán)色的”和“生蠔是生的還是熟的”,Qwen3 0.6B沒能絲滑應(yīng)對(duì)腦筋急轉(zhuǎn)彎,但也給出了勉強(qiáng)可用的回答。
Qwen3 0.6B回答生蠔問題
相比之下,4B的模型性能又有顯著提升,同樣詢問其“生蠔是生的還是熟的”問題后,它能夠準(zhǔn)確回答出“生蠔”是名字,不是狀態(tài),可以是生的,也可以是熟的。
Qwen3-4B模型能夠詳細(xì)回答生蠔問題的答案
根據(jù)阿里官方的描述,Qwen3-4B性能可與Qwen2.5-72B-Instruct媲美,而Qwen考慮到目前智能手機(jī)基本均可以流暢本地運(yùn)行Qwen3-4B模型,主流電腦基本均可以本地運(yùn)行Qwen3-8B模型,這也代表著Qwen3小模型也可以完全勝任普通人需要的設(shè)備智能化的任務(wù),相比滿血MoE大模型并不存在極其巨大的使用差距。
Qwen3發(fā)布后,上下游供應(yīng)鏈第一時(shí)間進(jìn)行適配和調(diào)用,尤其是強(qiáng)調(diào)了對(duì)小尺寸模型的適配,體現(xiàn)了業(yè)內(nèi)對(duì)其能力的認(rèn)可。
英特爾官方網(wǎng)站顯示,英特爾在車端艙內(nèi)和AI PC上都對(duì)新發(fā)布的Qwen3系列模型完成匹配,使得搭載小模型的AI PC也能成為用戶助手。
英特爾官方展示Qwen3-0.6B模型優(yōu)化效果
國(guó)產(chǎn)芯片廠商海光信息也宣布其DCU完成對(duì)Qwen3全部8款模型的適配+調(diào)優(yōu),覆蓋235B、32B、30B、14B、8B、4B、1.7B、0.6B各種參數(shù)。
搶占AI應(yīng)用爆發(fā)窗口期
如果說阿里更新的32B以上模型是為了對(duì)標(biāo)乃至超越DeepSeek-R1,那么在小模型的技術(shù)線上,阿里又意欲何為呢?
我們?cè)诮忉孌ense模型的特性時(shí)就提到,相比MoE模型,Dense模型更加適合一些需要準(zhǔn)確性和實(shí)時(shí)反饋的業(yè)務(wù)場(chǎng)景,而阿里所在的電商、物流、金融科技等領(lǐng)域,天然就對(duì)大模型幻覺存在較低的容忍度。Dense模型相比MoE模型,會(huì)更加容易適配諸如商品智能推薦、智能客服、智能家居、智能眼鏡、自動(dòng)駕駛、機(jī)器人等領(lǐng)域領(lǐng)域,與阿里自身的業(yè)務(wù)板塊和未來的發(fā)力方向較為契合。
而且,相比上一代模型支持29種語言,本次阿里開源大模型支持119種語言。對(duì)于阿里國(guó)際站、速賣通等平臺(tái)覆蓋的全球 200 多個(gè)國(guó)家和地區(qū),多語言尤其是小語種支持可直接降低語言壁壘,提升用戶體驗(yàn),屬于AI賦能自身業(yè)務(wù)的直觀體現(xiàn)。
而119種語言的背后也代表著阿里在持續(xù)加碼建設(shè)自己的開源生態(tài)。Qwen3系列模型依舊采用寬松的Apache2.0協(xié)議開源,全球開發(fā)者、研究機(jī)構(gòu)和企業(yè)均可免費(fèi)在魔搭社區(qū)、HuggingFace等平臺(tái)下載模型并商用,也可以通過阿里云百煉調(diào)用Qwen3的API服務(wù)。
具體到小模型在第三方的應(yīng)用,多位AI開發(fā)者對(duì)觀察者網(wǎng)表示,在很多場(chǎng)景,小模型才是真正能干活的模型。
有人解釋道:“很多業(yè)務(wù)QPS(每秒查詢)都是以萬為數(shù)量級(jí),而業(yè)務(wù)鏈路對(duì)于延遲的要求又極為嚴(yán)格(個(gè)位數(shù)毫秒),這種場(chǎng)景根本沒法塞一個(gè)大模型進(jìn)去,哪怕是用7B級(jí)別的模型,對(duì)于顯存都是巨大的負(fù)擔(dān)。對(duì)于絕大部分無法承擔(dān)高額預(yù)算的企業(yè),0.6B、1.7B的小模型有著巨大的應(yīng)用價(jià)值,不僅能少吃資源,還能支持高并發(fā)。”
其補(bǔ)充表示:對(duì)于一些輕量的任務(wù),不需要模型懂很多道理,只要能夠?qū)斎胗懈兄?,能夠識(shí)別信號(hào)輸出,就是合格的模型了。Qwen小模型的出現(xiàn)取代了TinyBERT,只要能夠?qū)崿F(xiàn)快速、輕量、穩(wěn)定,那么這個(gè)模型在工業(yè)界就有很大的應(yīng)用潛力。
另一位開發(fā)者則對(duì)觀察者網(wǎng)表示:“Qwen3-0.6B具有參數(shù)少、本地跑的特性,非常適合微調(diào)成匹配單一小任務(wù)的模型,比如文章提取、樣式整理、數(shù)據(jù)轉(zhuǎn)化,相比大模型存在巨大的性價(jià)比優(yōu)勢(shì)。”
據(jù)了解,目前已有企業(yè)使用Qwen3的0.6B模型在邊緣設(shè)備(如工控機(jī))部署,實(shí)時(shí)分析傳感器數(shù)據(jù)。
除了賦能自身業(yè)務(wù)和吸引開發(fā)者生態(tài),阿里也希望通過更加先進(jìn)和適配的大模型搶占更多的C端入口。2024年底至2025年初,阿里通過一系列組織架構(gòu)調(diào)整和人才布局推進(jìn)AI To C戰(zhàn)略,將AI應(yīng)用“通義”并入智能信息事業(yè)群,整合天貓精靈與夸克團(tuán)隊(duì),并聘請(qǐng)頂尖AI科學(xué)家許主洪負(fù)責(zé)AI To C業(yè)務(wù)研發(fā)。
有市場(chǎng)人士認(rèn)為,此輪調(diào)整的背景是阿里通義APP的普及率不及預(yù)期。
通義千問憑借在多模態(tài)處理和復(fù)雜任務(wù)推理方面的技術(shù)優(yōu)勢(shì),曾為阿里的B端企業(yè)服務(wù)及開發(fā)者生態(tài)提供了有力支撐。諸如飛豬旅行借助通義千問多模態(tài)模型,實(shí)現(xiàn)了用戶方言語音規(guī)劃行程的功能;Rokid AR眼鏡搭載其技術(shù)后,能夠進(jìn)行實(shí)時(shí)翻譯。通義千問在大模型開源上跑得很快,但是,其“通義”App在C端應(yīng)用上并沒有使出“撒手锏”。
AI市場(chǎng)競(jìng)爭(zhēng)激烈,騰訊的混元大模型依托微信龐大的用戶基礎(chǔ)和生態(tài)優(yōu)勢(shì),在微信多個(gè)入口為元寶爭(zhēng)取亮相的機(jī)會(huì),對(duì)C端用戶形成“繭房式包裹”。字節(jié)跳動(dòng)旗下的豆包借助抖音的推流優(yōu)勢(shì),在2024年11月MAU飆升至5998萬,長(zhǎng)期霸榜AI應(yīng)用下載量榜單前三。
不過阿里在C端依然有潛力應(yīng)用夸克。第三方數(shù)據(jù)顯示,2025年3月,夸克的MAU(月活躍人數(shù))達(dá)到1.48億,登上國(guó)內(nèi)AI應(yīng)用榜首。
當(dāng)前阿里的整體AI戰(zhàn)略布局,愈發(fā)強(qiáng)化通義千問與夸克的“雙子星”格局。通義千問專注于支撐云上智能,夸克則著力打造端側(cè)入口,協(xié)同推動(dòng)阿里AI To C戰(zhàn)略的落地。
隨著C端滲透率不斷提升,算力成本會(huì)成為大模型企業(yè)不可承受之重,DeepSeek就曾經(jīng)在爆火出圈時(shí)遭遇算力崩潰。如果能夠用小尺寸模型承接更多C端用戶需求,對(duì)于阿里自身成本控制和用戶體驗(yàn),都會(huì)有潛在的重要意義。
- 責(zé)任編輯: 陳濟(jì)深 
-
蘋果概念直線暴漲超15%,現(xiàn)貨黃金大跌
2025-05-12 16:01 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
歐洲指數(shù)集體高開,港股恒生科技漲超5%
2025-05-12 15:27 金融觀察 -
1至4月我國(guó)汽車產(chǎn)銷量首次雙超千萬輛
2025-05-12 15:24 -
匯源果汁聲明:“走向末路”不實(shí),公司經(jīng)營(yíng)一切正常
2025-05-12 14:20 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
八年后“首訪”又去中東,特朗普故意跳過以色列?
2025-05-12 14:18 巴以恩仇錄 -
-
-
A股三大指數(shù)集體高開,?軍工、紡織服飾板塊走高
2025-05-12 09:50 金融觀察 -
消息人士回應(yīng)“馬云回歸”;松延動(dòng)力發(fā)布女性機(jī)器人小諾
2025-05-12 08:41 大公司 -
iPhone16系列降價(jià),折疊屏相關(guān)部件已送樣測(cè)試
2025-05-10 22:37 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
華為何剛:Mate40用戶至少還有千萬,升級(jí)鴻蒙5.0還沒結(jié)論
2025-05-10 22:08 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
“歐洲在華企業(yè)偷著樂:機(jī)會(huì)來了”
2025-05-09 23:07 應(yīng)對(duì)特朗普沖擊波 -
啤酒行業(yè)步入瓶頸,青島啤酒斥資6.65億向黃酒尋增量
2025-05-09 21:48 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
央行:一季度貨幣政策逆周期調(diào)節(jié)效果較為明顯
2025-05-09 20:21 金融觀察 -
-
上新20款養(yǎng)生水,盒馬怎么爭(zhēng)“滔滔不絕”?
2025-05-09 20:18 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
聯(lián)想新平板疑搭載自研5nm芯片
2025-05-09 16:51 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
比5G快10倍!你的手機(jī)有5G-A了嗎?
2025-05-09 16:30 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
客服辱罵顧客還送冥幣?心相?。嘿~號(hào)異常
2025-05-09 16:10 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
相關(guān)推薦 -
“中美會(huì)談成果遠(yuǎn)超預(yù)期,是一個(gè)非常好的起點(diǎn)” 評(píng)論 22中美日內(nèi)瓦經(jīng)貿(mào)會(huì)談聯(lián)合聲明 評(píng)論 1089卡塔爾送大禮引爭(zhēng)議,特朗普:免費(fèi)的也罵? 評(píng)論 160何立峰:中美達(dá)成重要共識(shí) 評(píng)論 306“中國(guó)猛龍首露利爪,實(shí)戰(zhàn)證明自身價(jià)值” 評(píng)論 260最新聞 Hot
-
特朗普要“幫忙”,印度拒絕了
-
“他想在大馬士革建特朗普大廈”
-
中美日內(nèi)瓦經(jīng)貿(mào)會(huì)談聯(lián)合聲明
-
中方嚴(yán)管稀土出口,印度也“慌了”
-
“他有望在獄中贏得市長(zhǎng)選舉”
-
石破茂再?gòu)?qiáng)硬表態(tài):美國(guó),還不降
-
美方吹風(fēng)會(huì):中美都不想“脫鉤”,同意稅率下調(diào)115%
-
卡塔爾送大禮引爭(zhēng)議,特朗普:免費(fèi)的也罵?
-
美國(guó)小企業(yè)苦苦掙扎:利潤(rùn)蒸發(fā)甚至變?yōu)樨?fù)數(shù),最糟的時(shí)刻還未到來
-
特朗普施壓后,澤連斯基表態(tài):我去土耳其等普京
-
日車企利潤(rùn)暴跌超20%,“與中國(guó)競(jìng)爭(zhēng)加劇”
-
中美會(huì)談結(jié)束后,美國(guó)股指期貨應(yīng)聲上漲
-
“特朗普夜不能寐,搞定全球問題比想象難得多”
-
靠岸中國(guó)貨船數(shù)“歸零”,美西港口官員驚到了
-
“出軌女下屬”,英國(guó)海軍一把手被免職
-
“聽加州的,否則美國(guó)最大經(jīng)濟(jì)體地位不?!?/a>
-