4月23日，商湯科技舉辦技術(shù)交流日，發(fā)布行業(yè)首個“云、端、邊”全棧大模型產(chǎn)品矩陣，以滿足不同規(guī)模場景的應(yīng)用需求，并且全新升級“日日新SenseNova 5.0”大模型體系，綜合能力全面對標(biāo)GPT-4 Turbo。

在人工智能發(fā)展的最基本法則——尺度定律（Scaling Law）的準(zhǔn)則下，商湯持續(xù)尋求最有數(shù)據(jù)配比并建立數(shù)據(jù)質(zhì)量評價體系，推動自身大模型研發(fā)的同時，也為行業(yè)伙伴提供大模型訓(xùn)練、微調(diào)、部署和各類生成式AI的能力及服務(wù)。

商湯科技董事長兼CEO徐立表示：“商湯在尺度定律的指導(dǎo)下，會持續(xù)探索大模型能力的KRE三層架構(gòu)（知識-推理-執(zhí)行），不斷突破大模型能力邊界?！?

圖源：觀察者網(wǎng)

“全面對標(biāo)GPT-4 Turbo”

自去年4月首次發(fā)布，商湯“日日新SenseNova”大模型體系已正式推出五個大版本迭代。

基于超過10TB tokens訓(xùn)練、覆蓋大量合成數(shù)據(jù)，全新的“日日新SenseNova 5.0”（以下簡稱：日日新5.0）采用混合專家架構(gòu)，推理時上下文窗口可以有效到200K左右。

本次更新主要聚集增強了知識、數(shù)學(xué)、推理及代碼能力，全面對標(biāo)GPT-4 Turbo，主流客觀評測上達(dá)到或超越 GPT-4 Turbo。

在文科能力方面，“日日新5.0”的創(chuàng)意寫作能力、推理能力以及總結(jié)能力均大幅提升，相同的中文知識注入后，可以獲得更好的理解總結(jié)及問答，為教育、內(nèi)容產(chǎn)業(yè)等垂直應(yīng)用場景提供有力輔助。

“日日新5.0”和GPT-4回答趣味推理問題：“媽媽給圓圓沖了一杯咖啡，圓圓喝了半杯后，將它加滿水，然后她又喝了半杯后，再加滿水，最后全部喝完。問圓圓喝的咖啡多，還是水多？”，“日日新5.0”回答正確。

在理科能力方面，“日日新5.0”數(shù)理能力、代碼能力及推理能力達(dá)到業(yè)內(nèi)領(lǐng)先水平，為金融、數(shù)據(jù)分析等場景落地提供堅實基礎(chǔ)。

本次“日日新5.0”另一大核心指標(biāo)就是多模態(tài)能力，商湯多模態(tài)大模型的圖文感知能力達(dá)到全球領(lǐng)先水平，在多模態(tài)大模型權(quán)威綜合基準(zhǔn)測試MMBench中綜合得分排名首位，在多個知名多模態(tài)榜單MathVista，AI2D，ChartQA，TextVQA，DocVQA，MMMU取得領(lǐng)先成績。

“日日新SenseNova5.0”在應(yīng)用產(chǎn)品層面也實現(xiàn)了更卓越的多模態(tài)能力，支持高清長圖的解析和理解以及文生圖交互式生成，還可以實現(xiàn)復(fù)雜的跨文檔知識抽取及總結(jié)問答展示，還具備豐富的多模態(tài)交互能力。

圖源：觀察者網(wǎng)

率先完成“云端邊”全棧布局

前瞻洞察中心化算力需求向端側(cè)擴展的未來趨勢及企業(yè)級在邊緣側(cè)的AI需求，商湯科技領(lǐng)先業(yè)內(nèi)首次推出“云、端、邊”全棧大模型產(chǎn)品矩陣，其中包括應(yīng)用于終端設(shè)備的“商湯端側(cè)大模型”，以及面向金融、代碼、醫(yī)療、政務(wù)等多個領(lǐng)域的邊緣產(chǎn)品“商湯企業(yè)級大模型一體機”。

今年是端側(cè)大模型應(yīng)用的元年，為了滿足移動終端用戶對大模型技術(shù)的應(yīng)用需求，商湯推出日日新·端側(cè)大模型，性能實現(xiàn)同等尺度性能最優(yōu)，跨級尺度全面領(lǐng)先。

商湯還推出端云協(xié)同解決方案，可通過智能化判斷協(xié)同發(fā)揮端云各自優(yōu)勢，需要聯(lián)網(wǎng)搜索或處理復(fù)雜場景時分流至云端處理，部分場景端側(cè)處理占比超過80%，從而顯著降低推理成本。

商湯日日新·端側(cè)大語言模型的推理速度達(dá)到了業(yè)內(nèi)最快，可在中端平臺實現(xiàn)18.3字/s的平均生成速度，旗艦平臺更是達(dá)到了78.3字/s。

擴散模型同樣可在端側(cè)實現(xiàn)業(yè)內(nèi)最快的推理速度，端側(cè)LDM-AI擴圖技術(shù)在某主流平臺上，推理速度小于1.5秒，比友商云端app快10倍，支持輸出1200萬像素及以上的高清圖片，支持在端上快速進(jìn)行等比擴圖、自由擴圖、旋轉(zhuǎn)擴圖等圖像編輯功能。

從今日起，商湯端側(cè)業(yè)務(wù)SDK正式發(fā)布。

對于金融、代碼、醫(yī)療、政務(wù)等重點行業(yè)邊緣側(cè)日益增長的AI應(yīng)用需求，商湯正式推出企業(yè)級大模型一體機，可同時支持企業(yè)級千億模型加速和知識檢索硬件加速，實現(xiàn)本地化部署，即買即用，降低企業(yè)應(yīng)用大模型的門檻。相比行業(yè)同類產(chǎn)品，推理成本節(jié)約80%，檢索大大加速，CPU工作負(fù)載50%。

圖源：觀察者網(wǎng)