DEEPSEEK R1對強化學習的押注

“DeepSeek-R1-Zero選擇了一條前所未有的路徑，即‘純’強化學習路徑，完全放棄了預定義的思維鏈（CoT）模型和監(jiān)督微調(diào)（SFT），僅依靠簡單的獎勵和懲罰信號來優(yōu)化模型的行為。”[9]

在騰訊團隊對DeepSeek R1模型的分析中，他們提出可能需要重新思考監(jiān)督學習在AI發(fā)展中的作用。或許他們過于專注于讓AI模仿人類的思維方式，而不是更多地押注于強化學習系統(tǒng)本身的解決問題能力[10]。在強化學習中，獎勵和懲罰以數(shù)學方式表達在模型中。代理（可以是算法或系統(tǒng)）根據(jù)策略做出決策，該策略旨在最大化隨時間累積的獎勵。獎勵是代理在環(huán)境給定狀態(tài)下執(zhí)行操作所獲得的數(shù)值。

機器學習是人工智能的一個領(lǐng)域，它使計算機能夠識別模式并根據(jù)數(shù)據(jù)做出決策，而無需明確編程[11]。機器學習依賴于從大量數(shù)據(jù)中提取模式并調(diào)整其參數(shù)以隨時間提高預測能力的算法。這些算法可以分為三大類：監(jiān)督學習（模型從標記數(shù)據(jù)中學習）、無監(jiān)督學習（模型在沒有預定義標簽的情況下識別模式）和強化學習（模型通過試錯學習，根據(jù)其行為獲得獎勵或懲罰）。深度學習是機器學習的一個子集，它使用具有多層的人工神經(jīng)網(wǎng)絡以分層和復雜的方式處理數(shù)據(jù)[12]。

由于這些創(chuàng)新，DeepSeek R1的訓練成本大幅降低，僅為ChatGPT成本的1/10到1/20。當OpenAI的模型花費20美元時，DeepSeek僅用1美元就完成了相同的任務。2025年1月，DeepSeek模型的成本僅為每百萬token 16元人民幣，而ChatGPT的成本高達438元人民幣——相差27倍！[13] 這意味著組織可以以更低的成本使用DeepSeek的模型，同時實現(xiàn)更高的效率。

不同AI模型的Token輸入/輸出價格（美元/每百萬Tokens），可以看到DeepSeek的價格遠低于其他AI模型Reddit

計算能力與AI的地緣政治

英偉達和其他科技巨頭股價的暴跌被許多人視為美國在AI領(lǐng)域領(lǐng)導地位的終結(jié)，這似乎并不準確。這家強大的GPU制造商的股價大幅下跌是由于在DeepSeek成功開發(fā)出成本僅為OpenAI 10%的大型語言模型的消息傳出后，大量股票被拋售。這可能會改變AI的發(fā)展軌跡。對高處理能力芯片的依賴可能會發(fā)生變化?；谶@種推理和恐懼，投機者趁機拋售了他們在英偉達和其他公司的股票。

然而，對尖端芯片的依賴并沒有因為中國的創(chuàng)新而結(jié)束。小于2納米的芯片代表了人工智能的關(guān)鍵進步，它們確保了更高的處理能力和更低的能耗。隨著AI模型變得越來越復雜，需要數(shù)十億甚至數(shù)萬億的參數(shù)，計算效率仍然是一個關(guān)鍵因素。更小的芯片允許更高的晶體管密度，提高計算速度和能源效率，降低運營成本和冷卻需求。這一演進對于AI的大規(guī)模實施至關(guān)重要，從數(shù)據(jù)中心到移動設備，包括軍事應用。

值得注意的是，納米芯片擴展了設備中的嵌入式應用，并促進了它們在物聯(lián)網(wǎng)、醫(yī)療保健、機器人和自動駕駛汽車中的使用。另一個承諾是，隨著芯片變得更先進、體積更小，AI模型可以在本地運行，減少對云的依賴，并確保更快、更安全的響應。在地緣政治背景下，對更小芯片的競爭加劇了美國和中國等大國之間的技術(shù)爭端，因為對這一技術(shù)的控制定義了數(shù)字經(jīng)濟和網(wǎng)絡安全領(lǐng)域的競爭力。

美國通過技術(shù)主導、戰(zhàn)略投資和供應鏈控制的結(jié)合，保持了在芯片和半導體開發(fā)和制造領(lǐng)域的領(lǐng)導地位。英偉達、英特爾、AMD和高通等美國公司引領(lǐng)著先進芯片的設計。美國政府通過補貼和激勵措施（如《芯片與科學法案》[14]）加強其地位，該法案撥款數(shù)十億美元用于加強國內(nèi)半導體生產(chǎn)，減少對亞洲的依賴。

除了技術(shù)優(yōu)勢外，美國還利用制裁和出口管制來限制戰(zhàn)略競爭對手（如中國）獲取關(guān)鍵技術(shù)。商務部對先進半導體制造設備（如ASML的機器和Cadence、Synopsys的芯片設計軟件）的出口實施嚴格限制。這些限制使中國難以開發(fā)自己的先進芯片，并鞏固了美國在該領(lǐng)域的地位。同時，華盛頓投資于戰(zhàn)略聯(lián)盟，如“芯片四方聯(lián)盟”（與日本、韓國和中國臺灣地區(qū)），確保其盟友遵循美國的指導方針，限制技術(shù)轉(zhuǎn)讓給被視為競爭對手的國家。這一綜合戰(zhàn)略使美國能夠保持其在半導體行業(yè)的霸權(quán)，這對數(shù)字經(jīng)濟和國家安全至關(guān)重要。[15]

盡管美國正在盡一切努力限制中國獲取先進芯片（7納米以下）及其生產(chǎn)能力，但中國正在不斷發(fā)展其獨立制造這些高端芯片的能力。中芯國際（SMIC）已經(jīng)展示了生產(chǎn)7納米芯片的能力，并被認為很可能能夠生產(chǎn)5納米芯片[16]。上海微電子裝備（SMEE）等公司正在積極開發(fā)極紫外（EUV）光刻技術(shù)，以取代ASML壟斷的光刻機[17]，這些光刻機已被限制向中國銷售。

另一方面，在汽車和工業(yè)領(lǐng)域使用的成熟工藝芯片（技術(shù)并非最尖端但需求顯著更高）方面，中國的芯片產(chǎn)業(yè)已經(jīng)建立了大規(guī)模且完整的產(chǎn)業(yè)鏈。2024年，中國芯片出口總額超過1萬億元人民幣（約合1390億美元）[18]?？梢灶A見，一旦中國公司在先進工藝上取得技術(shù)突破，其現(xiàn)有的供應鏈優(yōu)勢將顯著降低高端芯片的價格。此外，芯片工藝受到物理極限的限制，無法無限改進。中國趕上美國只是時間問題。

美國前總統(tǒng)喬·拜登于2022年8月9日簽署2022年《芯片法案》路透社

結(jié)論

“英偉達的領(lǐng)導地位不僅僅是一家公司努力的結(jié)果，而是整個西方技術(shù)社區(qū)和行業(yè)共同努力的結(jié)果。他們能夠看到下一代技術(shù)趨勢，并擁有路線圖。中國的AI發(fā)展也需要這樣的生態(tài)系統(tǒng)。許多國內(nèi)芯片由于缺乏支持技術(shù)社區(qū)和二手信息而無法發(fā)展，因此中國需要站在技術(shù)前沿的人?！保何姆?，2024）[19]

DeepSeek的創(chuàng)始人梁文峰表示：“我們面臨的問題從來不是資金，而是對尖端芯片的禁令?！盵20] 即使數(shù)據(jù)集中化和對計算能力需求（需要越來越復雜的芯片）的趨勢發(fā)生變化并失去動力，國際資本主義似乎也不會改變其根本的不對稱性。毫無疑問，中國的技術(shù)科學發(fā)展使技術(shù)依賴美國的國家能夠構(gòu)建有利于其發(fā)展的戰(zhàn)略。擁有主權(quán)、可控的世界級大型語言模型曾經(jīng)是美國和中國以外的國家——尤其是全球南方國家——無法企及的。現(xiàn)在，DeepSeek已經(jīng)民主化了這項技術(shù)，為全球南方國家在這一領(lǐng)域開辟了新的可能性。同時，這也為這些國家的政府提出了新的任務和挑戰(zhàn)。

DeepSeek現(xiàn)象所指向的是開源對于加強國際協(xié)作鏈的重要性，這種協(xié)作鏈可以減少不平等和巨大的知識不對稱。然而，開源并不能解決建設主權(quán)基礎設施的問題，這些基礎設施對于地方和國家發(fā)展至關(guān)重要。因此，尋求改善其技術(shù)經(jīng)濟地位的國家需要減少科技巨頭的權(quán)力，控制AI的基本輸入——尤其是來自其人口的數(shù)據(jù)——并投資于減少自動化系統(tǒng)在資本主義國家中產(chǎn)生的環(huán)境影響和勞動力不穩(wěn)定的解決方案。押注于青年優(yōu)質(zhì)教育需要鼓勵技術(shù)多樣性，并將各民族的文化活力轉(zhuǎn)化為技術(shù)表達。

【本文葡萄牙語版收錄于即將在巴西出版的《人工智能，社會與階級》（AI, Society and Class）一書】

注釋：

[1]Winner, L. (2020). The whale and the reactor: A search for limits in an age of high technology. University of Chicago Press.

[2]https://startups.com.br/negocios/inteligencia-artificial/stargate-trump-anuncia-investimento-de-us-500-bi-em-projeto-de-ia/

[3] Idem.

[4]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[5]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[6]Idem.

[7]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[8]https://www.lowyinstitute.org/the-interpreter/deepseek-diplomacy-disruption-dominance-data

[9]郝博陽. (2025, 23 de janeiro). 一文讀懂｜DeepSeek新模型大揭秘，為何它能震動全球AI圈.騰訊科技.

Link:https://mp.weixin.qq.com/s/cp4rQx09wygE9uHBadI7RA

[10] Idem.

[11] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.

[12] Idem.

[13]https://mp.weixin.qq.com/s/GG7l2P9ZveZjsHbS0AJ7Rg

[14]https://www.congress.gov/bill/117th-congress/house-bill/4346

[15] Sutter, K. M., Sargent Jr, J. F., & Singh, M. (2023). Semiconductors and the CHIPS Act: The Global Context. Congressional Research Service (CRS) Reports and Issue Briefs.

[16]https://www.dw.com/zh/%E7%BE%8E%E5%9B%BD%E5%88%B6%E8%A3%81%E4%B8%8B-%E5%8D%8E%E4%B8%BA%E7%AA%81%E5%9B%B4%E7%9A%84%E7%A7%98%E5%AF%86%E6%AD%A6%E5%99%A8%E6%98%AF%E4%BB%80%E4%B9%88/a-67530706

[17]https://www.dw.com/zh/%E7%94%B3%E8%AF%B7%E4%B8%93%E5%88%A9%E4%B8%AD%E5%9B%BD7%E7%BA%B3%E7%B1%B3%E8%8A%AF%E7%89%87%E5%85%89%E5%88%BB%E6%8A%80%E6%9C%AF%E5%8F%96%E5%BE%97%E7%AA%81%E7%A0%B4/a-70227975

[18] http://politics.people.com.cn/n1/2024/1205/c1001-40376144.html

[19]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg

[20] Idem.