-
“如果DeepSeek靠蒸餾為啥要怕?”“不,中國(guó)是迭代者”
-
楊蓉yangrong@guancha.cn
在他看來(lái),中國(guó)確實(shí)尚未在科學(xué)突破方面超越美國(guó),如率先推出mRNA疫苗、ChatGPT、iPhone等,“但中國(guó)所做的是,通過(guò)其強(qiáng)大的制造實(shí)力,在這些創(chuàng)新的基礎(chǔ)上進(jìn)行迭代,使其產(chǎn)品更好、更快、更便宜,而這一過(guò)程正通過(guò)DeepSeek-R1展現(xiàn)在我們眼前”。
戴維·林本月早些時(shí)候接受新加坡《海峽時(shí)報(bào)》采訪時(shí)也表示,中美在AI發(fā)展上“已經(jīng)處于并駕齊驅(qū)的狀態(tài)”。他坦言:“如果你在三個(gè)月前問(wèn)我,我還會(huì)說(shuō)我們穩(wěn)穩(wěn)領(lǐng)先,但形勢(shì)變得非常迅速?!?
他6日在聽證會(huì)上進(jìn)一步強(qiáng)調(diào),DeepSeek公開表示其目標(biāo)是努力實(shí)現(xiàn)通用人工智能(AGI),這一愿景表明了中國(guó)“在AI領(lǐng)域的雄心壯志”。AGI是指具備像人類一樣的智能水平,能夠理解、學(xué)習(xí)、適應(yīng)、推理,并在不同領(lǐng)域自主執(zhí)行任務(wù)的AI系統(tǒng),通常也被視為AI發(fā)展的終極形態(tài)。
戴維·林指出,如今這場(chǎng)AI技術(shù)競(jìng)賽實(shí)質(zhì)上是全球科技主導(dǎo)權(quán)之爭(zhēng)?!斑@是一個(gè)關(guān)于爭(zhēng)奪先發(fā)優(yōu)勢(shì)的問(wèn)題,第一個(gè)實(shí)現(xiàn)AGI的人將在全球經(jīng)濟(jì)、政治及能源供應(yīng)鏈方面帶來(lái)深遠(yuǎn)的下游影響。”
戴維·林在聽證會(huì)上發(fā)言
今年1月,DeepSeek發(fā)布其最新開源模型DeepSeek-R1,用較低的成本達(dá)到了接近于美國(guó)OpenAI開發(fā)的GPT-o1的性能。這一進(jìn)展破解了全球AI產(chǎn)業(yè)長(zhǎng)期以來(lái)“堆算力”的路徑依賴,其影響波及資本市場(chǎng)。OpenAI隨后公開指控DeepSeek通過(guò)“蒸餾”技術(shù)“違規(guī)復(fù)制”其產(chǎn)品功能。
所謂蒸餾的理論核心,就是讓一個(gè)龐大且復(fù)雜的預(yù)訓(xùn)練AI模型充當(dāng)“教師”,來(lái)訓(xùn)練一個(gè)較小的“學(xué)生模型”,后者從“教師模型”學(xué)習(xí)知識(shí),以獲得類似性能,但計(jì)算成本更低。不少專家表示,蒸餾在AI業(yè)內(nèi)是一種常見(jiàn)的做法,但若涉及直接復(fù)制閉源專有模型的輸出結(jié)構(gòu)或參數(shù),可能構(gòu)成侵權(quán)。
前百度全球傳播主管、前AI條線記者托尼·彭(Tony Peng,音)日前在其專欄梳理,“蒸餾”的具體操作方法有很多:如“監(jiān)督微調(diào)”(SFT),即直接使用“教師模型”生成的輸出數(shù)據(jù)來(lái)訓(xùn)練“學(xué)生模型”;或是“模型評(píng)分”,即讓“教師模型”充當(dāng)“評(píng)委”,對(duì)模型輸出進(jìn)行評(píng)分,并訓(xùn)練“學(xué)生模型”更傾向于高分回答;又或是利用“教師模型”為復(fù)雜問(wèn)題生成的多步驟推理鏈,讓“學(xué)生模型”模仿這種長(zhǎng)鏈?zhǔn)剿季S(CoT)的過(guò)程。
根據(jù)DeepSeek自己發(fā)布的技術(shù)文檔,其R1模型在第一階段使用了早期模型R1-Zero的輸出作為冷啟動(dòng)數(shù)據(jù)集,由人工標(biāo)注員優(yōu)化后進(jìn)行訓(xùn)練,并在第二階段繼續(xù)通過(guò)強(qiáng)化學(xué)習(xí)(RL)進(jìn)行優(yōu)化。R1-Zero模型則完全依賴RL,未使用“微調(diào)數(shù)據(jù)集”(fine-tuning datasets)。
此外,DeepSeek去年12月發(fā)布的V3模型是使用對(duì)R1的“知識(shí)蒸餾”等提升了訓(xùn)練效率。技術(shù)文檔稱,DeepSeek-R1作為高級(jí)推理模型,其CoT能力被蒸餾到V3,從而提升V3的推理能力。
考慮到OpenAI尚未提供具體證據(jù),其首席執(zhí)行官奧爾特曼上周又稱“沒(méi)有計(jì)劃”起訴DeepSeek,目前輿論猜測(cè)紛紛。與此同時(shí),也有許多聲音指出,OpenAI提出這一指控本身就頗為“虛偽和諷刺”。
“要知道,ChatGPT在訓(xùn)練過(guò)程中也使用了《福布斯》或《紐約時(shí)報(bào)》的內(nèi)容,這同樣違反了它們的服務(wù)條款?!笨的螤柎髮W(xué)高級(jí)訪問(wèn)講師、曾在谷歌、領(lǐng)英等科技公司從事AI研究的盧茨·芬格(Lutz Finger)說(shuō)。
硅谷內(nèi)部也有人提出反思。金沙江創(chuàng)業(yè)投資(GSR Ventures)合伙人、長(zhǎng)期居住在硅谷的新加坡風(fēng)險(xiǎn)投資人戴維·尹(David Yin,音)對(duì)《海峽時(shí)報(bào)》表示,許多硅谷的AI應(yīng)用公司陷入思維定勢(shì)、缺乏創(chuàng)新,導(dǎo)致其盲目擴(kuò)張,而不是提高效率。
“(在硅谷)當(dāng)有人想給你數(shù)千億美元時(shí),你所想的就是雇更多人、買更多算力,建造自己的‘核電站’”。他說(shuō),“也許中國(guó)的參與者不擅長(zhǎng)‘從零到一’的創(chuàng)新,但一旦他們掌握了一項(xiàng)技術(shù),就會(huì)把它優(yōu)化到極致,從一做到十、一百。”
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
標(biāo)簽 AI- 責(zé)任編輯: 楊蓉 
-
他又染指軍事:美國(guó)將在下一場(chǎng)戰(zhàn)爭(zhēng)中慘敗,除非…
2025-02-07 21:58 -
“特朗普自殘,更多人會(huì)信中國(guó)了”
2025-02-07 20:01 中美關(guān)系 -
老撾跟進(jìn):限電!
2025-02-07 19:29 打擊網(wǎng)絡(luò)詐騙 -
中方已向美方提出嚴(yán)正交涉
2025-02-07 18:02 中美關(guān)系 -
“噩夢(mèng)已開始,女兒?jiǎn)栁沂遣皇窃p騙…”
2025-02-07 18:01 中美關(guān)系 -
美媒也逃不過(guò)…
2025-02-07 17:58 應(yīng)對(duì)特朗普沖擊波 -
馬斯克再被阻擊
2025-02-07 17:57 應(yīng)對(duì)特朗普沖擊波 -
喊停又喊停,特朗普“上任N把火”處處碰壁
2025-02-07 17:46 應(yīng)對(duì)特朗普沖擊波 -
中印尼續(xù)簽雙邊本幣互換協(xié)議,規(guī)模為4000億元人民幣
2025-02-07 16:56 人民幣國(guó)際化 -
習(xí)近平會(huì)見(jiàn)韓國(guó)國(guó)會(huì)議長(zhǎng)禹元植
2025-02-07 16:31 -
中國(guó)正對(duì)蘋果公司開展反壟斷調(diào)查?外交部回應(yīng)
2025-02-07 16:20 -
美航空專家急了:不賣中國(guó),他回頭自己造了就丸辣!
2025-02-07 16:05 中美關(guān)系 -
外交部:對(duì)巴拿馬不再續(xù)簽“一帶一路”諒解備忘錄深表遺憾
2025-02-07 16:05 -
又一起……美國(guó)阿拉斯加一飛機(jī)失聯(lián)
2025-02-07 15:41 航空安全 -
馬斯克揮刀,砍到伊萬(wàn)卡蛋糕了…
2025-02-07 14:34 -
“DeepSeek粉碎西方遏華幻想,中國(guó)正鯨吞世界”
2025-02-07 14:01 中美關(guān)系 -
不降反增!8年折騰了個(gè)寂寞…
2025-02-07 12:11 應(yīng)對(duì)特朗普沖擊波 -
“中美貿(mào)易摩擦,我們歐洲恐成大輸家”
2025-02-07 11:32 歐洲亂局 -
他揚(yáng)言:將審查中國(guó)是否遵守
2025-02-07 11:07 應(yīng)對(duì)特朗普沖擊波 -
聯(lián)合國(guó)人權(quán)理事會(huì):美國(guó)無(wú)法“退出”
2025-02-07 10:59 應(yīng)對(duì)特朗普沖擊波
相關(guān)推薦 -
-
特朗普“先眨眼”:很多人催我,期待和中國(guó)談成 評(píng)論 104“英偉達(dá)很急:別再卡了,中國(guó)自研芯片已突圍” 評(píng)論 95“痛苦!關(guān)稅戰(zhàn)被中方拿捏,美國(guó)只能二選一” 評(píng)論 82撐不住了?特朗普暗示降低對(duì)華關(guān)稅 評(píng)論 373最新聞 Hot
-
特朗普“先眨眼”:很多人催我,期待和中國(guó)談成
-
“英偉達(dá)很急:別再卡了,中國(guó)自研芯片已突圍”
-
印尼讓步了
-
“痛苦!關(guān)稅戰(zhàn)被中方拿捏,美國(guó)只能二選一”
-
西藏日喀則市原副市長(zhǎng)張?jiān)茖毐徊?,長(zhǎng)期在水利系統(tǒng)工作
-
輪胎高速路上狂奔后滾進(jìn)服務(wù)區(qū)致人死亡,重慶警方通報(bào)
-
中國(guó)在智利合建天文臺(tái)項(xiàng)目,美國(guó)又伸黑手
-
哈佛一下子更有錢了
-
“再?zèng)]進(jìn)展,我們就撤”
-
“正事不干雜事一堆,特朗普讓美國(guó)科研機(jī)構(gòu)‘徹底崩潰’”
-
“中國(guó)人很團(tuán)結(jié),就連親美人士都認(rèn)為必須對(duì)抗美國(guó)”
-
又一位科學(xué)家回國(guó)!曾供職美頂尖能源實(shí)驗(yàn)室
-
撐不住了?特朗普暗示降低對(duì)華關(guān)稅
-
國(guó)家發(fā)改委干將龔楨梽,“空降”廣東
-
廣西東蘭干旱“農(nóng)民求雨”?當(dāng)?shù)鼗貞?yīng):視頻系擺拍
-
外媒繼續(xù)緊盯:中國(guó),70天了…
-