-
推理性能提升13倍!百度智能云發(fā)布昆侖芯超節(jié)點(diǎn)
最后更新: 2025-04-25 15:31:154月25日,以“模型的世界,應(yīng)用的天下”為主題的Create 2025 百度AI開(kāi)發(fā)者大會(huì)在湖北武漢召開(kāi)。會(huì)上,百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖分享了百度智能云在智能基礎(chǔ)設(shè)施建設(shè)方面的最新成果,并在算力、模型及應(yīng)用等方面發(fā)布一系列全新產(chǎn)品。
大模型的高效落地亟需從底層算力到應(yīng)用的全棧、系統(tǒng)級(jí)支撐——既需高性能硬件與集群優(yōu)化,也需靈活的開(kāi)發(fā)工具鏈與場(chǎng)景化解決方案?;诙嗄暝诖竽P脱邪l(fā)與產(chǎn)業(yè)落地的深厚積累,百度智能云構(gòu)建了新一代系統(tǒng)級(jí)智能基礎(chǔ)設(shè)施,為企業(yè)大模型應(yīng)用落地提供最佳解決方案。
?相關(guān)數(shù)據(jù)顯示,2024全年百度智能云在大模型相關(guān)中標(biāo)項(xiàng)目數(shù)、行業(yè)覆蓋數(shù)、央國(guó)企中標(biāo)項(xiàng)目數(shù)三個(gè)維度均為第一,在能源、政務(wù)、金融三個(gè)行業(yè)的中標(biāo)項(xiàng)目數(shù)位于所有廠商第一。截止目前,千帆平臺(tái)企業(yè)用戶數(shù)量超40萬(wàn),千帆平臺(tái)組件數(shù)量超1000個(gè),企業(yè)在千帆平臺(tái)上已開(kāi)發(fā)出了超100萬(wàn)個(gè)應(yīng)用。
?沈抖表示,系統(tǒng)的價(jià)值,不僅是解決某一個(gè)問(wèn)題,而是讓企業(yè)擁有創(chuàng)造“創(chuàng)造的能力”。企業(yè)可以結(jié)合自己的數(shù)據(jù)、流程、邏輯,利用百度智能云的系統(tǒng)級(jí)能力打造企業(yè)專屬AI基礎(chǔ)設(shè)施。
?
百舸+昆侖芯超節(jié)點(diǎn):推理性能提升13倍、成本降低95%
?算力是AI時(shí)代的“新電力”。百度智能云通過(guò)自研昆侖芯P800芯片及百舸大規(guī)模推理加速能力,實(shí)現(xiàn)算力性能與成本的雙重突破。
本次大會(huì),百度正式點(diǎn)亮了昆侖芯P800的三萬(wàn)卡集群。在金融行業(yè),招商銀行與百度智能云基于昆侖芯P800展開(kāi)算力合作,能穩(wěn)定支持各類開(kāi)源大模型,性能表現(xiàn)卓越,在智能客服、多模態(tài)數(shù)據(jù)分析等場(chǎng)景實(shí)現(xiàn)了顯著效能提升。
目前,除了招商銀行這類金融機(jī)構(gòu),昆侖芯P800算力已在國(guó)家電網(wǎng)、中國(guó)鋼研等央企,同濟(jì)大學(xué)、北京大學(xué)等高校及一批互聯(lián)網(wǎng)企業(yè)進(jìn)行規(guī)?;渴?。
為了進(jìn)一步降低算力使用成本,百度智能云正式發(fā)布昆侖芯超節(jié)點(diǎn)。
昆侖芯超節(jié)點(diǎn)支持把64張昆侖芯AI加速卡放到同一個(gè)機(jī)柜,實(shí)現(xiàn)單節(jié)點(diǎn)的超強(qiáng)性能,一個(gè)機(jī)柜就能頂過(guò)去100臺(tái)機(jī)器。與以往的方案相比,昆侖芯超節(jié)點(diǎn)用更快的機(jī)內(nèi)通信替代機(jī)間通信,可以有效降低帶寬成本,最終實(shí)現(xiàn)卡間互聯(lián)帶寬提升8倍,單機(jī)訓(xùn)練性能提升10倍,單卡推理性能提升13倍。
?
僅僅擁有高性能芯片和大規(guī)模集群是遠(yuǎn)遠(yuǎn)不夠的,如何穩(wěn)定、高效地釋放算力的真正價(jià)值才是關(guān)鍵所在。沈抖認(rèn)為,未來(lái)三年,推理降本,一定是企業(yè)最重要的工作。
?百度智能云全面升級(jí)百舸推理加速能力。通過(guò)大規(guī)模分布式推理的PD分離,百舸支持客戶根據(jù)不同場(chǎng)景的業(yè)務(wù)特點(diǎn),自適應(yīng)地設(shè)置PD配比,并做到token級(jí)別的PD負(fù)載均衡。針對(duì)MOE模型,百舸做到了大規(guī)模多機(jī)專家并行的極致優(yōu)化,可以大幅降低MOE模型推理的通信開(kāi)銷。最后,百舸對(duì)核心鏈路上的每一個(gè)細(xì)節(jié)做了系統(tǒng)級(jí)的工程優(yōu)化,大幅提升GPU的有效利用率。
?從百度內(nèi)部實(shí)踐來(lái)看,百舸推理加速的能力正在作為千帆的算力底座,為40萬(wàn)客戶提供服務(wù)。上線以來(lái),千帆的推理吞吐提升20倍,推理速度提升50%以上。在外部,百舸不止支持著像招商銀行、中國(guó)石化、長(zhǎng)安汽車等企業(yè)的超大規(guī)模算力需求,也很好地支撐著創(chuàng)企客戶、伙伴的模型訓(xùn)練、推理需求。
?
以北京人形機(jī)器人創(chuàng)新中心為例,百度百舸為創(chuàng)新中心構(gòu)建了穩(wěn)定的超大算力集群,確保具身模型的訓(xùn)練和推理得以高效進(jìn)行,支持了人形機(jī)器人的快速迭代。在近日全球首個(gè)人形機(jī)器人半程馬拉松中,北京人形機(jī)器人創(chuàng)新中心旗下純電驅(qū)全尺寸人形機(jī)器人“天工”,以2小時(shí)40分42秒的成績(jī)率先沖線一舉奪冠。
?為企業(yè)應(yīng)用開(kāi)發(fā)提效,千帆發(fā)布智能體Pro及MCP服務(wù)
企業(yè)部署大模型,不僅需要高性價(jià)比的模型服務(wù),更需要全面的模型工具。在模型服務(wù)層面,目前千帆平臺(tái)上有超過(guò)100多個(gè)模型,不僅包括文心4.5Turbo、文心X1 Turbo等百度自研模型,還包括DeepSeek、Ilama、Vidu等第三方模型,服務(wù)穩(wěn)定、可靠。在模型開(kāi)發(fā)層面,千帆平臺(tái)可以提供全面的模型開(kāi)發(fā)工具鏈,支持深度思考模型、多模態(tài)模型的定制、精調(diào)。
?以模型蒸餾為例,智聯(lián)招聘在人崗匹配場(chǎng)景使用了千帆平臺(tái)的模型蒸餾工具鏈,用千億參數(shù)的DeepSeek R1作為“教師模型”,用百億參數(shù)的ERNIE Speed作為“學(xué)生模型”,經(jīng)過(guò)調(diào)優(yōu)后的小參數(shù)模型,不僅可以媲美“教師模型”的效果,成本也降低至3成。
?
在應(yīng)用開(kāi)發(fā)上,本次大會(huì)千帆平臺(tái)全面升級(jí)了企業(yè)級(jí)Agent開(kāi)發(fā)工具鏈,發(fā)布了全新推理式智能體——智能體Pro,從快問(wèn)快答升級(jí)到深思熟慮,并且支持每個(gè)企業(yè)定制自己的專屬智能體。以污水寶為例,基于千帆Agentic RAG能力,讓Agent結(jié)合企業(yè)自己的私域數(shù)據(jù)和企業(yè)知識(shí)庫(kù),可以基于對(duì)任務(wù)的理解去制定檢索策略,大幅降低模型幻覺(jué)。
同時(shí),智能體Pro也支持Deep Research深度研究模式,能讓Agent自主完成復(fù)雜任務(wù)的步驟規(guī)劃、信息篩選和整理,支持像人一樣操控電腦瀏覽網(wǎng)頁(yè)(computer use)進(jìn)行探索式知識(shí)收集,也支持像人一樣使用多種工具繪制圖標(biāo)、撰寫,生成結(jié)構(gòu)清晰、內(nèi)容豐富的專業(yè)報(bào)告。
基于DeepResearch能力,榮耀正在利用千帆平臺(tái),面向高校學(xué)生、職場(chǎng)白領(lǐng)等群體,打造一款科研場(chǎng)景深度研究的應(yīng)用,將很快會(huì)在榮耀筆記本上上線。
?
MCP的出現(xiàn),幫助開(kāi)發(fā)者和企業(yè)在開(kāi)發(fā)Agent時(shí),能夠更好地利用行業(yè)數(shù)據(jù)和工具。本次大會(huì),百度智能云正式發(fā)布國(guó)內(nèi)首個(gè)企業(yè)級(jí)MCP服務(wù),第一批已經(jīng)有超過(guò)1000個(gè)MCP Servers 供企業(yè)及開(kāi)發(fā)者靈活選擇。另外,開(kāi)發(fā)者也可以在千帆上開(kāi)發(fā)自己的MCP Server,并發(fā)布到MCP廣場(chǎng),支持免費(fèi)托管,而且百度搜索也會(huì)索引這些MCP Server,讓它們被更多的開(kāi)發(fā)者引用。
?從模型服務(wù)到應(yīng)用開(kāi)發(fā),企業(yè)客戶已經(jīng)在千帆平臺(tái)上做出了很多行業(yè)創(chuàng)新。民生銀行與百度智能云合作,探索大模型在商業(yè)銀行的落地,完成了金融領(lǐng)域第一個(gè)端到端涵蓋算力、平臺(tái)、模型、應(yīng)用四層架構(gòu)的項(xiàng)目落地。
?自研AI應(yīng)用重磅升級(jí):實(shí)現(xiàn)營(yíng)銷全旅程服務(wù),視覺(jué)AI應(yīng)用成本大幅下降
百度智能云打造的智能基礎(chǔ)設(shè)施也支撐著百度自己的應(yīng)用創(chuàng)新。本次大會(huì),百度智能云面向智能營(yíng)銷、視覺(jué)AI兩大領(lǐng)域,升級(jí)了兩大自研AI應(yīng)用產(chǎn)品。
?
金融營(yíng)銷場(chǎng)景需要高精準(zhǔn)獲客、“高情商”客服及高效的流失預(yù)警,百度智能云本次升級(jí)發(fā)布客悅·ONE,在上述核心場(chǎng)景進(jìn)行了全面優(yōu)化,為客戶提供全生命周期智能營(yíng)銷服務(wù),助力企業(yè)實(shí)現(xiàn)營(yíng)銷效能全面提升。
以理財(cái)撤單場(chǎng)景為例,傳統(tǒng)模式下,用戶需經(jīng)歷復(fù)雜的說(shuō)明閱讀和多層級(jí)菜單操作,效率低下??蛺偼ㄟ^(guò)AI驅(qū)動(dòng)的智能交互,極大簡(jiǎn)化了這一流程。AI不僅能識(shí)別并安撫用戶焦慮,更能在對(duì)話中直接引導(dǎo)解決問(wèn)題,還能自動(dòng)提煉關(guān)鍵信息并回流數(shù)據(jù),持續(xù)優(yōu)化服務(wù)體驗(yàn)。
目前客悅已經(jīng)服務(wù)銀行、證券、保險(xiǎn)等不同細(xì)分領(lǐng)域的金融企業(yè)50余家,落地金融行業(yè)10余個(gè)場(chǎng)景。
為了解決視覺(jué)AI模型訓(xùn)練周期長(zhǎng)、門檻高,需要大量人工干預(yù)的問(wèn)題。百度智能云升級(jí)發(fā)布一見(jiàn)5.0,在標(biāo)準(zhǔn)化高、規(guī)則清晰的任務(wù)中,僅需一句自然語(yǔ)言,即可秒級(jí)生成專業(yè)級(jí)視覺(jué)AI應(yīng)用,一線業(yè)務(wù)人員也能輕松上手,借助云邊協(xié)同,應(yīng)用成本大幅降低,加速了視覺(jué)智能規(guī)?;穆涞?。
?
目前,百度智能云從算力、平臺(tái)到應(yīng)用的系統(tǒng)級(jí)能力,已經(jīng)在多個(gè)企業(yè)場(chǎng)景中穩(wěn)定運(yùn)行。中國(guó)鋼研與百度智能云聯(lián)合打造全棧智能基礎(chǔ)設(shè)施,基于昆侖芯和百舸,搭建了專屬的智算平臺(tái);在千帆上做模型精調(diào),使用大、小模型結(jié)合的方式獲得最佳效果;結(jié)合一見(jiàn)視覺(jué)平臺(tái),快速完成了表面缺陷檢測(cè)、金相分析等核心場(chǎng)景的應(yīng)用開(kāi)發(fā)。
|舉報(bào)-
違反法律法規(guī) -
垃圾信息、廣告 -
色情、淫穢信息 -
人身攻擊 -
謠言、不實(shí)信息 -
冒充,冒用信息 -
破壞社區(qū)秩序 -
其他 -
涉未成年人有害信息
- 責(zé)任編輯: 霍東陽(yáng) 
-
-
新旗艦發(fā)熱能煎雞蛋?OPPO回應(yīng)
2025-04-25 12:08 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
匯源果汁“賣身”失敗
2025-04-25 10:41 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
百度發(fā)布文心大模型X1 Turbo,價(jià)格僅為DeepSeek的25%
2025-04-25 10:35 人工智能 -
-
政府關(guān)稅收入激增,民眾債務(wù)、失業(yè)率攀升
2025-04-25 09:34 觀網(wǎng)財(cái)經(jīng)-海外 -
-
紅米新機(jī)首發(fā)高通芯片,王騰稱“友商抄襲不講究”
2025-04-25 08:00 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
京東美團(tuán)對(duì)攻腹地,打打更健康?
2025-04-24 21:29 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
-
-
賣梅子年入16億,“溜溜梅”身負(fù)賭約赴港IPO
2025-04-24 18:04 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
上海:加快研制手機(jī)直連衛(wèi)星
2025-04-24 17:15 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
騰訊游戲新動(dòng)作,《和平精英》將接入DeepSeek
2025-04-24 16:18 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
小紅書發(fā)布全員信:取消員工競(jìng)業(yè)及“大小周”
2025-04-24 13:26 -
途虎養(yǎng)車貼膜節(jié)啟動(dòng),“孫悟空”光學(xué)膜首發(fā)
2025-04-24 12:17 -
曝iPhone17關(guān)鍵材料短缺,庫(kù)克極度焦慮
2025-04-24 10:10 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
對(duì)話跨境商家:關(guān)稅政策出臺(tái)后,訂單量反而有所增加
2025-04-24 09:10 觀網(wǎng)財(cái)經(jīng)-海外
相關(guān)推薦 -
-
“美方高估了自己,以為中國(guó)很急…” 評(píng)論 93“美企庫(kù)存只夠用60天,要是中國(guó)還不批準(zhǔn)…” 評(píng)論 159“特朗普?qǐng)?zhí)意破壞全球規(guī)則,中國(guó)會(huì)打敗我們” 評(píng)論 88關(guān)稅風(fēng)暴下,日德巨頭“對(duì)中國(guó)投下信任票” 評(píng)論 67“特朗普誤判啊,中國(guó)未來(lái)幾十年都將是硬核玩家” 評(píng)論 124最新聞 Hot
-
“美方高估了自己,以為中國(guó)很急…”
-
被中方約談后,沃爾瑪找補(bǔ):積極響應(yīng)號(hào)召
-
“為了和平,我們可能不得不放棄部分領(lǐng)土”
-
巴防長(zhǎng)警告:可能爆發(fā)“全面戰(zhàn)爭(zhēng)”
-
“美企庫(kù)存只夠用60天,要是中國(guó)還不批準(zhǔn)…”
-
“西方企業(yè)從中國(guó)買零件,運(yùn)到全球組裝,太蠢了”
-
“特朗普?qǐng)?zhí)意破壞全球規(guī)則,中國(guó)會(huì)打敗我們”
-
暴跌72%!5年來(lái),中國(guó)取消美國(guó)豬肉訂單最大規(guī)模
-
“美國(guó)開(kāi)始找臺(tái)階了,中國(guó)沒(méi)停手”
-
關(guān)稅風(fēng)暴下,日德巨頭“對(duì)中國(guó)投下信任票”
-
日本也不跟,“擬抵制特朗普聯(lián)手遏華貿(mào)易的計(jì)劃”
-
日本和歌山縣4只大熊貓,將于6月底送返中國(guó)
-
特朗普:俄羅斯沒(méi)占領(lǐng)整個(gè)烏克蘭,讓步很大啦
-
日本:中國(guó)不買美國(guó)大豆,要么我們買?
-
“特朗普發(fā)現(xiàn)美國(guó)不再不可或缺”
-
特朗普再提“第51州”?加拿大總理:的確說(shuō)了,但他稱我為總理
快訊- 我大使敲打韓國(guó):對(duì)美錯(cuò)誤行為,不能聽(tīng)之任之
- 六足機(jī)器狗加入千年古建“守護(hù)聯(lián)盟”,AI加速文化遺產(chǎn)保護(hù)技術(shù)進(jìn)化
- 4月25日《新聞聯(lián)播》主要內(nèi)容
- 茶咖日?qǐng)?bào)|快樂(lè)番薯被曝價(jià)格全線腰斬;奈雪的茶與《鳴潮》聯(lián)名
- “為了和平,我們可能不得不放棄部分領(lǐng)土”
- 全球“最難簽”國(guó)家或?qū)ⅰ伴_(kāi)門迎客”,外媒:效仿中國(guó)的成功經(jīng)驗(yàn)
- 巴防長(zhǎng)警告:可能爆發(fā)“全面戰(zhàn)爭(zhēng)”
- 九州通的“醫(yī)美陽(yáng)謀”:醫(yī)藥流通利潤(rùn)觸底,6.73億下場(chǎng)掘金
-