-
肖仰華:國內大模型真正的短板并非數據和算力,而在"煉制"工藝
-
周毅是故意的還是不小心?
最后更新: 2024-05-08 21:24:12【文/觀察者網 周毅 編輯 張廣凱】
微軟再一次拋出“王炸”。
5月23日,在西雅圖的微軟Build 2023開發(fā)者大會上,微軟CEO納德拉正式宣布,正在為Windows 11添加人工智能助手“Windows Copilot”,用戶可以在Windows系統(tǒng)中使用聊天機器人。
在ChatGPT領域,中國此前已有阿里通義千問、百度文心一言、京東靈犀等多款產品。
在AIGC的新風口下,如何看待中國企業(yè)的挑戰(zhàn)和機遇?
5月22日,2023數字經濟(東湖)論壇在武漢舉辦。在論壇上,復旦大學教授、上海市數據科學重點實驗室主任肖仰華對觀察者網表示,與國際同行相比,模型、數據和算力并不是中國最大的劣勢,真正的短板在于對大模型"煉制"工藝的掌握,包括數據配方、數據清洗和參數設置等等。
肖仰華表示,大模型"煉制"工藝從根本上決定了大模型的效果。但是和OpenAI等企業(yè)相比,我們仍有一定的時間差距。但是中國也有自己的優(yōu)勢,比如舉國體制。我們可以成立產業(yè)聯盟多線并進,縮短試錯周期。
圖源2023數字經濟(東湖)論壇
肖仰華還提醒,我們不能因為炒作ChatGPT一個熱點,而忽略了具身智能等其他賽道。
值得重視的短板:先進工藝
在肖仰華看來,以ChatGPT為代表的生成式人工智能技術(AIGC),將成為推動我國數字經濟進步,實現高質量發(fā)展的重要引擎。在ChatGPT之前,人工智能處于不成熟的產業(yè)階段;ChatGPT的出現將人工智能帶入快速發(fā)展、快速變現的重工業(yè)發(fā)展階段。
但在類ChatGPT等大模型領域,中國尚處于起步階段,需要進一步規(guī)劃和統(tǒng)籌。
肖仰華認為,大模型產業(yè)發(fā)展的取決于數個因素。
首先是模型。模型好比功夫中的“內功”,模型越大,潛力越強;其二是算力,這是大模型的核心競爭力,大模型競爭歸根結底是算力的競爭;其三是數據。只有高質量的數據,才能喂養(yǎng)出高水平的大模型。不過,它們都不是中國大模型產業(yè)的真正短板所在。
圖源微軟
“我國的大模型產業(yè),在數據上有優(yōu)勢,在算力上有基礎,模型本身也不存在什么秘密,我們真正缺的是先進工藝。”肖仰華說。
他解釋道,“煉制”大模型的工藝過程至關重要,它包括數據配方、數據清洗、參數設置、流程設計和質量控制等等。它從根本上決定了大模型的效果,是大模型產業(yè)發(fā)展的重要因素。當前我國大模型產業(yè)發(fā)展缺乏先進工藝過程,這是短期之內難以跟上的,需要付出巨大代價進行摸索。
數據配方,指的是根據模型的學習目標,確定不同領域、不同類型、不同模態(tài)數據的配比;數據清洗,指的是對原始語料進行去噪、去重、過濾、規(guī)范化等操作,提高語料一致性、多樣性與完整性。
所謂的參數設置,是根據模型的架構和規(guī)模,選擇合適的超參數,如學習率、批次大小、優(yōu)化器、激活函數等,這些選擇將影響模型訓練的效率和效果。
流程設計,是根據模型的訓練目標和資源限制,設計各相關組件之間的流程排布、目標設定、訓練策略等,提高模型的泛化能力和適應性。
質量控制,指的是對模型的訓練過程和結果進行監(jiān)控和評估,通過準確率、困惑度等關鍵指標監(jiān)測,通過對比不同模型或版本的表現,以保障大模型訓練的質量和穩(wěn)定性。
肖仰華表示,上述的每一個具體模塊,國內其實都知道怎么做,但是將它們整合在一起,總體效果和國外是存在差距的。“不是能做還是不能做的問題,而是做出來的效果是70分與100分的差別?!毙ぱ鋈A表示,我們要趕上最后這幾十分,要不斷試錯、評測和改進。
肖仰華對觀察者網表示,先進工藝的掌握需要試錯,需要時間積累。OpenAI成立于2015年,在2018年投入大模型研發(fā),到今年整整用了5年時間,他們花了很多時間去試錯和摸索。即使現在很多中國企業(yè)在努力追趕,但是這個“時間差”是一朝一夕難以趕上的。
OpenAI網站截圖
但是,中國也有優(yōu)勢:舉國體制。
“我們可以把串行的試錯變成并行的試錯,甚至可以10條技術路線同時試錯,”,肖仰華解釋道,當一些人在驗證某一個路線,那么其他人就不必重復驗證該路線,可以轉而去驗證求索B路線、C路線……這就是中國舉國體制的力量。
肖仰華提到,并行試錯需要相關研發(fā)機構形成聯盟,例如算力聯盟、數據聯盟和技術聯盟。如果大家能夠做到技術共享、協同研發(fā),就可以把試錯的成本大大降低,并顯著縮短試錯周期?!叭思倚枰?年,我們可以只用1年。迎頭追趕的策略是存在的,關鍵是我們能不能推動這些聯盟的團結?!?
- 責任編輯: 周毅 
-
王炸芯片,難再成蘋果救星
2024-05-08 18:18 觀網財經-科創(chuàng) -
ST陽光:控股股東涉嫌內幕交易被證監(jiān)會擬罰款2.32億元
2024-05-07 20:57 -
華為蘋果同日對決,背后還有中韓面板之爭
2024-05-07 17:23 觀網財經-科創(chuàng) -
歷史性一幕!iPhone在華市場份額跌出前五
2024-05-07 11:13 觀網財經-科創(chuàng) -
45億加碼“五五購物節(jié)”,拼多多助力上?!捌础背鼍?/a>
2024-05-06 19:32 -
美國?Tiktok法案的起草人,引火燒身了
2024-05-06 18:47 觀網財經-金融 -
舒適賽道紅利釋放,紅豆股份品牌轉型出成效
2024-05-06 13:33 -
“五一”近3億人次出游,較2019年同期增長28.2%
2024-05-06 12:16 觀察者頭條 -
巴菲特股東大會要點來了!回應減持蘋果、巨額現金儲備等
2024-05-05 08:28 -
武廣高鐵、滬杭客專等4條高鐵線漲價,漲幅近20%
2024-05-04 14:13 高鐵世紀 -
深圳將取消福田、南山之外區(qū)域住房限購?深圳住建局回應
2024-05-04 10:27 觀網財經-房產 -
庫克涉華最新發(fā)聲
2024-05-04 10:14 跨國企業(yè)在中國 -
20張營業(yè)執(zhí)照只有3家實存?央媒:問題在下頭,根子在上頭
2024-05-03 11:21 基層治理 -
上海推出商品住房“以舊換新”活動
2024-05-03 09:39 觀網財經-房產 -
中俄東線天然氣管道最新進展
2024-05-03 09:30 國企備忘錄 -
31省份“一季報”:蘇魯浙增速超6%,山西總量下滑
2024-05-02 21:39 宏觀經濟 -
美聯儲維持利率不變,納指兩連跌星巴克重挫
2024-05-02 07:42 觀網財經-海外 -
南京公積金新政:包括宣城、馬鞍山在內的南京都市圈9城互認互貸
2024-05-01 19:50 觀網財經-房產 -
美國當前經濟數據中,也許藏著高官接連訪華的答案
2024-05-01 09:24 -
余承東不再擔任華為終端BG CEO
2024-05-01 08:53 觀網財經-科創(chuàng)
相關推薦 -
-
中柬云壤港聯合保障和訓練中心正式掛牌運行 評論 67美股蒸發(fā)超5萬億美元,“95年來最大政策失誤” 評論 325美國人瘋狂囤貨,“中國電視被買空” 評論 2184月10日起,對原產美國的所有進口商品加征34%關稅 評論 913“特朗普白給,中國要贏得全世界了” 評論 176最新聞 Hot
-
中柬云壤港聯合保障和訓練中心正式掛牌運行
-
特朗普轉發(fā)“巴菲特支持特朗普經濟政策”,巴菲特回應了
-
演都不演了,特朗普顧問直說:阿根廷得結束這份中國協議,不然…
-
這一重大科研裝置,成功部署!
-
美媒關注:辛辣回擊特朗普關稅,中國媒體用上AI歌曲和短片
-
特朗普再要求降息,鮑威爾:關稅遠超預期,再等等
-
美股蒸發(fā)超5萬億美元,“95年來最大政策失誤”
-
萬斯:歐洲最大威脅不是中俄
-
魯比奧辯解:美國需要回到制造業(yè)時代
-
在美烏克蘭人限期7日離境?美官方:發(fā)錯了
-
美股“血流成河”,特朗普選擇…去打高爾夫球
-
魯比奧告訴北約:特朗普快對普京沒耐心了
-
美國人瘋狂囤貨,“中國電視被買空”
-
美股三大股指收盤暴跌,納指進入熊市
-
美股開盤重挫,特朗普:我的政策永不改變
-
90億美元還想不想要?哈佛被下“整改通牒”
-