國內(nèi)公司的 AI 大模型研發(fā)雖然比國外公司晚，但是發(fā)展卻異常地迅速，其內(nèi)在邏輯便是：本土企業(yè)和學者對深度學習技術的深入理解與創(chuàng)新。在大模型的底層技術已經(jīng)固定的時代，他們靠著持續(xù)的探索和努力才能構(gòu)建出秀麗的“上層建筑”。

（本文作者為中國信通院華東分院，科工力量經(jīng)授權(quán)轉(zhuǎn)發(fā)。）

12月28日，2024中國信通院ICT+深度觀察報告會暨“虹橋之源”大模型驅(qū)動數(shù)字經(jīng)濟新生態(tài)峰會拉開帷幕，會上由國內(nèi)人工智能領域核心專業(yè)智庫中國信通院聯(lián)合上海人工智能實驗室成立的大模型測試驗證與協(xié)同創(chuàng)新中心，重磅首發(fā)《2023大模型落地應用案例集》。這是國內(nèi)首部聚焦AI大模型落地應用的權(quán)威研究成果，評選出的52個案例均為大模型商業(yè)落地的優(yōu)秀示范。本文將從52個案例為切入點，為大家呈現(xiàn)當前AI行業(yè)的現(xiàn)狀與趨勢。

2022年底ChatGPT的橫空出世，引爆了國內(nèi)外大模型的熱情，各行各業(yè)的創(chuàng)業(yè)者已經(jīng)集結(jié)在十字路口蓄勢待發(fā)。

從國內(nèi)市場來看，目前人工智能（AI）大模型已經(jīng)在各行各業(yè)“落子不斷”。據(jù)公開資料不完全統(tǒng)計顯示，國內(nèi)大模型的發(fā)展路徑是“通用+垂直”兩條腿走路，其中垂類大模型落地速度最快。從近日舉辦的2024中國信通院ICT+深度觀察報告會上海分會場發(fā)布的《2023大模型落地應用案例集》來看，有近65%+的AI大模型是垂直大模型。

趨勢已然，大模型技術突破代表了AI發(fā)展的一個重要里程碑，下面筆者將梳理中國從業(yè)者構(gòu)建的“底層原創(chuàng)技術-中層基礎模型-上層行業(yè)應用”的大模型圖鑒。

01. 大模型領域中國學者的技術貢獻

圖注：ResNet的四位作者分別是：何愷明、張祥雨、任少卿、孫劍

2016年，來自微軟亞洲研究院的四位學者提出深度殘差學習（ResNet），解決了深度網(wǎng)絡的梯度傳遞問題。要知道，2015年之前深度學習最多只能訓練20層，ResNet之后，就可以有效地訓練超過百層的深度神經(jīng)網(wǎng)絡。

2017年Google發(fā)布Transformer，它的出現(xiàn)打穩(wěn)了AI大模型的“地基”，不僅“顛覆”了自然語言處理（NLP）中的機器翻譯任務，而且還提供了一種新的思路來處理圖像數(shù)據(jù)。

中國學者也圍繞Transformer做了許多改進和完善，例如微軟亞洲研究院聯(lián)合西安交通大學推出LONGNET，將Transformer的序列長度擴展10億+；京東探索研究院聯(lián)合武漢大學提出全球首個面向遙感任務設計的億級視覺Transformer大模型；阿里達摩院提出新的Transformer結(jié)構(gòu)FMViT，大幅度提升AI模型精度與速度……

在大模型領域細數(shù)中國學者貢獻，許多原創(chuàng)性貢獻來自本土。已故的商湯科技創(chuàng)始人湯曉鷗（緬懷）在2023世界人工智能大會上，發(fā)表演講時表示：在深度學習的大門上，我們按了18次門鈴，取得了許多跨時代的突破。其中湯曉鷗提到了上海人工智能實驗室領軍科學家林達華，他當時設計的計算機視覺開源算法體系OpenMMLab，目前已經(jīng)成為國際上最具影響力的視覺算法開源體系。值得一提的是，林達華也是書生大模型體系的重要貢獻者。

京東探索研究院早在2021年年初就展開了大模型體系（超級深度學習）的建設和基礎研究，領導京東建設了中國第一個NVIDIA DGX Superpod天琴alpah-α超算集群。在此基礎上，京東探索研究院的織女模型vega v2 在2022年登頂SuperGLUE榜首，一舉超越同場競技的谷歌、微軟、Meta等業(yè)界頂尖企業(yè)；2021年研究院開發(fā)的大規(guī)模視覺模型ViTAE，在ImageNet Real的目標識別和MS COCO的人體姿態(tài)估計等權(quán)威榜單上均獲得世界第一。

圖注：（上）2022年京東探索研究院發(fā)表論文《Self-Evolution Learning for Discriminative Language Model Pretraining》，提出自我進化學習方法，為vega v2大模型的設計提供核心思想；

（下）2021年京東探索研究院發(fā)表論文《ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias》，嘗試將 CNN和transformer相結(jié)合。

因此，國內(nèi)公司的 AI 大模型研發(fā)雖然比國外公司晚，但是發(fā)展卻異常地迅速，其內(nèi)在邏輯便是：本土企業(yè)和學者對深度學習技術的深入理解與創(chuàng)新。在大模型的底層技術已經(jīng)固定的時代，他們靠著持續(xù)的探索和努力才能構(gòu)建出秀麗的“上層建筑”。

在OpenAI發(fā)布ChatGPT之前，國內(nèi)的一些企業(yè)就已經(jīng)押注AI大模型技術：例如2021 年 4 月，華為云聯(lián)合循環(huán)智能發(fā)布盤古超大規(guī)模預訓練語言模型，參數(shù)規(guī)模達 1 000 億；2021 年 6 月，北京智源人工智能研究院發(fā)布了超大規(guī)模智能模型“悟道 2.0”，參數(shù)規(guī)模達到 1.75 萬億；2021 年 12 月，百度推出 ERNIE 3.0 Titan 模型，參數(shù)規(guī)模達 2 600 億，同期，阿里巴巴達摩院的 M6 模型參數(shù)達到 10 萬億，將大模型參數(shù)直接提升了一個量級。

到2023年，大模型繼續(xù)火熱，國內(nèi)的AI大模型團隊已逐漸拓展到視覺、決策領域，甚至用于解決蛋白質(zhì)預測、航天等領域的重大科學問題，阿里、京東、oppo等大廠都有相應的成果。