觀察員
-
科大訊飛攜手華為，實現(xiàn)基于國產(chǎn)算力的MoE模型推理方案
3月11日，據(jù)“科大訊飛研究院”公眾號，近日，科大訊飛攜手華為在國產(chǎn)算力領(lǐng)域取得重大進展，雙方聯(lián)合團隊率先突破國產(chǎn)算力集群上MoE模型的大規(guī)模跨節(jié)點專家并行集群推理，這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后，業(yè)界首個基于國產(chǎn)算力的全新解決方案。
科大訊飛介紹，聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗證和部署。在算子融合方面，團隊在MLA預(yù)處理階段通過Vector與Cube異構(gòu)計算單元并行流水，并將多個小算子融合重構(gòu)為原子級計算單元，消除小算子下發(fā)開銷，MLA前處理時延降低50%+，實現(xiàn)性能的顯著提升。
在混合并行策略和通信計算并行優(yōu)化方面，團隊構(gòu)建了TP（張量并行）+EP（專家并行）混合范式：對MLA計算層采用機內(nèi)TP并行，發(fā)揮機內(nèi)高速互聯(lián)優(yōu)勢，降低跨機通信損耗；創(chuàng)新MoE專家分層調(diào)度，64卡均衡分配專家計算節(jié)點，定制AllToAll通信協(xié)議，專家數(shù)據(jù)交換效率提升40%，構(gòu)建跨機/機內(nèi)雙層通信架構(gòu)，通過分層優(yōu)化降低跨機流量60%；同時研發(fā)路由專家負載均衡算法，實現(xiàn)卡間負載差異小于10%，集群吞吐提升30%。
通過分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團隊在國產(chǎn)算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
科大訊飛稱，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產(chǎn)算力上DeepSeek V3和R1的高效推理。
近期，科大訊飛深度推理大模型星火X1也完成升級，在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學(xué)能力全面對標(biāo)DeepSeek R1和OpenAI o1，在中文數(shù)學(xué)各項任務(wù)中均實現(xiàn)領(lǐng)先?？拼笥嶏w始終堅定走國產(chǎn)化道路，星火X1也是當(dāng)前唯一采用全國產(chǎn)算力訓(xùn)練的深度推理大模型。
- 責(zé)任編輯: 連政
-
《哪吒2》將在歐洲37個國家上映
2025-03-11 16:02 -
兩個月吸金20億，中國機器人創(chuàng)企為何成資本新寵？
2025-03-11 15:17 觀網(wǎng)財經(jīng)-科創(chuàng) -
國補首次覆蓋新能源汽車用品，京東養(yǎng)車再提速
2025-03-11 14:10 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
“高貴的”昂跑和lululemon，也有了高貴的煩惱
2025-03-11 14:03 觀網(wǎng)財經(jīng)-消費 -
稚暉君發(fā)布靈犀X2機器人：毫秒級交互反應(yīng)能力
2025-03-11 13:14 -
國產(chǎn)CPU生態(tài)突圍需要“競合”，而非“內(nèi)耗”
2025-03-11 11:14 觀網(wǎng)財經(jīng)-科創(chuàng) -
美股大幅低開，特斯拉大跌9%較歷史最高位“腰斬”
2025-03-10 23:06 -
方便面“老二”地位動搖，統(tǒng)一靠飲料撐起業(yè)績
2025-03-10 21:49 觀網(wǎng)財經(jīng)-消費 -
出海！宇樹在速賣通開設(shè)官方店鋪
2025-03-10 21:15 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
這些年輕的面孔，都是中國科創(chuàng)的功臣
2025-03-10 21:06 觀察者頭條 -
17歲男孩“在海底撈”醉酒撒尿，賣酒的人該擔(dān)責(zé)嗎？
2025-03-10 19:35 觀網(wǎng)財經(jīng)-消費 -
馬來西亞運營商與華為中興簽約，將在5G與AI方面合作
2025-03-10 18:12 觀網(wǎng)財經(jīng)-科創(chuàng) -
東茅街茶館會成為下一個文和友嗎？
2025-03-10 18:11 觀網(wǎng)財經(jīng)-消費 -
層高至少3米！住建部將從這三個方向落實“好房子”標(biāo)準(zhǔn)
2025-03-10 18:11 2025兩會 -
到海外買礦！坐擁7座金礦的赤峰黃金港股再上市
2025-03-10 18:02 觀網(wǎng)財經(jīng)-消費 -
茶咖日報｜奈雪的茶被調(diào)出港股通標(biāo)的名單；瑞幸咖啡泰國商標(biāo)案勝訴
2025-03-10 17:56 觀網(wǎng)財經(jīng)-消費 -
網(wǎng)易回應(yīng)“將關(guān)閉公有云”
2025-03-10 16:10 觀網(wǎng)財經(jīng)-科創(chuàng) -
蘋果折疊屏被曝將搭載硅碳負極電池，寧德新能源獨供
2025-03-10 15:46 觀網(wǎng)財經(jīng)-科創(chuàng) -
登頂熱搜，美的被曝強制18點20下班？官方回應(yīng)，網(wǎng)友吵翻
2025-03-10 14:24 大公司 -
國家機器人創(chuàng)新中心與華為開展具身智能領(lǐng)域合作交流
2025-03-10 10:45 觀網(wǎng)財經(jīng)-科創(chuàng)
相關(guān)推薦 -
-
“全球都將研究，中國與西方最強大武器直接對決” 評論 256
美國官員：殲-10擊落陣風(fēng)，沒用F-16 評論 372
“印巴沖突是敘事之戰(zhàn)，中國裝備重要性凸顯” 評論 202
特朗普故弄玄虛稱“和某大國達成協(xié)議”，就這？ 評論 167最新聞 Hot-
“全球都將研究，中國與西方最強大武器直接對決”
-
英方拿到了，“簡直像在平行宇宙，中國太超前了”
-
首位“美國教皇”利奧十四世是誰？
-
許紅兵，主動投案
-
美國官員：殲-10擊落陣風(fēng)，沒用F-16
-
特朗普：對華關(guān)稅145%到頂了，要降
-
美大使污蔑“中國不是好盟友”，我駐巴拿馬使館駁斥
-
印度稱軍事基地遭巴基斯坦襲擊，巴方否認(rèn)
-
特朗普：可能找中國幫忙
-
大搞家庭式腐敗，甘肅省原副省長趙金云被決定逮捕
-
蓋茨怒懟：馬斯克就是在殺死兒童
-
微軟總裁瞎操心：不讓員工用DeepSeek
-
特朗普：美國與烏克蘭達成稀土協(xié)議
-
特朗普祝賀：歷史性時刻，美國的莫大榮耀
-
100多架飛機大戰(zhàn)后，印巴局勢怎么走？
-
美國又炒作“中國在古巴進行間諜活動”，我大使駁斥
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
