有點意外的是，實際大突破到出圈的卻是LLM，這次人工智能熱潮就是自然語言處理（NLP，Natural Language Processing）的飛躍進(jìn)步引發(fā)的。

“Transformer模型是一種具有注意力機(jī)制的深度學(xué)習(xí)模型，可以用來解決自然語言處理（NLP）問題。它使用注意力技術(shù)來聚焦模型中每個符號的輸入序列，從而可以捕捉句子中詞語之間的關(guān)系，而無需顯式地定義特征或構(gòu)建特征提取器。此外，Transformer模型利用并行化，避免了傳統(tǒng)序列模型（如遞歸神經(jīng)網(wǎng)絡(luò)）時需要等待前一步執(zhí)行結(jié)束才能開始新一步的等待時間，提高了計算速度。”

上面這段是ChatGPT介紹的LLM技術(shù)關(guān)鍵：Transformer模型（這類常見概念介紹它不忽悠）。意思是說，Transformer訓(xùn)練和計算有利于并行加速，這樣可以引入幾百億個參數(shù)的大模型。以前的語言模型，如“循環(huán)神經(jīng)網(wǎng)絡(luò)”（RNN，Recurrent Neural Network），參數(shù)不能太多，訓(xùn)練樣本也多不了，“需要等待前一步執(zhí)行結(jié)束才能開始新一步”，例如RNN將推理結(jié)果當(dāng)作下一步推理的輸入（這就是“循環(huán)”）。不方便并行，訓(xùn)練就慢，大模型訓(xùn)練需要的時間太長，沒法用。

2015年底，谷歌收購最有可能做出通用人工智能的Deepmind，風(fēng)險投資家Sam Altman（后來的OpenAI CEO）和馬斯克等不少科技圈的人對此不滿，于是共同投資成立了OpenAI。和Deepmind一樣，OpenAI也開發(fā)了游戲AI，據(jù)說在Dota2項目上達(dá)到了人類水平。但真正取得大突破的還是2020年的語言模型GPT-3（Generative Pre-trained Transformer 3），前面還有GPT-2和GPT-1。

GPT-3的開發(fā)思想就是把整個互聯(lián)網(wǎng)的知識都當(dāng)成訓(xùn)練素材，做出幾百億個參數(shù)的超級大模型，看能訓(xùn)練出什么。語言模型的訓(xùn)練目標(biāo)很簡單，就是把一段話作為輸入，“預(yù)測”后面最可能出現(xiàn)的詞，以此類推，最后輸出完整的對話或文章。

GPT-3似乎學(xué)會了整個互聯(lián)網(wǎng)上的所有知識，鑒于許多程序員將代碼放到了網(wǎng)上，GPT-3甚至學(xué)會了寫程序。微軟收購的Github開發(fā)了Copilot等輔助編程工具，機(jī)器編寫的代碼量占比逐漸上升至30%-40%，以至于程序員們一邊使用輔助編程工具，一邊默默憂慮自己何時會被AI取代?？梢哉f，GPT-3使整個IT業(yè)界為之震撼，不過由于使用門檻相對較高，所以沒有“出圈”。

隨后，OpenAI在GPT-3的基礎(chǔ)上開發(fā)出“GPT-3.5”也即ChatGPT，于2022年11月30日上線，并迅速火出了圈。相較于GPT-3，ChatGPT的關(guān)鍵優(yōu)勢在于人工優(yōu)化——GPT-3肚里有大量干貨，但不擅長理解人的對話，需要“懂行”人士的引導(dǎo)才能輸出有效內(nèi)容；OpenAI則經(jīng)過了大量人工測試，人工對不對勁的反饋進(jìn)行訓(xùn)練修正，用有點意外的方式解決了問題（業(yè)界習(xí)氣是讓機(jī)器干活，少搞人工操作）。

經(jīng)過這一關(guān)鍵優(yōu)化，聊天機(jī)器得以從專業(yè)人士才能用的GPT-3，進(jìn)化成普通人也能歡快聊天的ChatGPT！后面的事大家都知道了：業(yè)界內(nèi)外的大量用戶紛紛注冊，踴躍“調(diào)戲”ChatGPT，月活用戶數(shù)在短短2個月內(nèi)輕松突破1億。作為互聯(lián)網(wǎng)產(chǎn)品，這是現(xiàn)象級的。事實上，ChatGPT讓人們首次意識到，AI也能直接成為互聯(lián)網(wǎng)產(chǎn)品。

現(xiàn)在，LLM已成為互聯(lián)網(wǎng)公司新的“必爭之地”。微軟宣布，Bing搜索引擎、Office套件等全線產(chǎn)品都將引入ChatGPT，對OpenAI增加投資100億美元（之前投了10億美元，有優(yōu)先權(quán)）。

谷歌和百度也都計劃推出競品。據(jù)彭博社1月30日報道，知情人士透露百度公司計劃在3月推出與ChatGPT類似的聊天機(jī)器人，并將之嵌入搜索服務(wù)。

谷歌更是不得不行動了——員工都讓ChatGPT寫關(guān)于谷歌裁員的詩了，寫得很有意思。谷歌對前OpenAI員工2021年創(chuàng)立的公司Anthropic緊急投資4億美元，后者的聊天機(jī)器人Claude有520億個參數(shù)的模型，還在內(nèi)測，尚未公開。值得注意的是，前OpenAI員工之所以創(chuàng)立Anthropic，就是因為他們認(rèn)為ChatGPT商業(yè)化嚴(yán)重，輸出內(nèi)容的正確性有嚴(yán)重缺陷。

關(guān)于谷歌裁員的詩，“作者”為ChatGPT（作者供圖）

以上是ChatGPT簡略的技術(shù)原理和發(fā)展歷史。其實AI的原理并不難懂（希望一些技術(shù)名詞沒有造成理解困難），主要還是得實際干出來，Show me the code，這就需要海量的技術(shù)細(xì)節(jié)和投資。

Jacob Browning 和Yann LeCun論AI和語言的局限性（作者供圖）

為了超越ChatGPT寫文章的層次，筆者還想從“AI哲學(xué)”層面進(jìn)行一些深入的探討。近日，楊立昆作為Meta首席科學(xué)家表示，就底層技術(shù)而言，ChatGPT不是多了不起的創(chuàng)新，主要是在產(chǎn)品層面設(shè)計組合很好，才被視為“革命性產(chǎn)品”。這一態(tài)度在很大程度上基于其AI哲學(xué)觀——早在ChatGPT上線之前，圖靈獎得主楊立昆（Yann LeCun）和研究AI哲學(xué)的Jacob Browning就在Noema雜志上發(fā)表文章，指出了AI語言模型的重大缺陷：

“這些系統(tǒng)只會有淺層理解，永遠(yuǎn)不會有人類的完全理解能力”

“放棄所有知識都是語言學(xué)的觀點，讓我們意識到知識中有多少是非語言的”

“只由語言素材訓(xùn)練的系統(tǒng)永遠(yuǎn)都不會接近人類智能，即使它訓(xùn)練到宇宙毀滅都不行”

楊立昆說的是什么意思？其實和ChatGPT聊一陣子就明白了。筆者的感覺是，機(jī)器“查找資料、泛泛聊天”能力已經(jīng)超過了所有人類。但是，如果將聊天的標(biāo)準(zhǔn)上升，考察真正的智慧，那么ChatGPT將很快露出破綻，其后續(xù)版本（如將知識引擎從GPT-3升級到GPT-4）也難以解決這個問題。

再往深里說，這涉及哲學(xué)層面的語言之思。海德格爾懷疑，我們也許并不能從日常語言經(jīng)驗中獲得獲得本質(zhì)洞見，而毋寧只能獲得一種虛假的可理解性。隨著計算機(jī)的發(fā)展，人們愈發(fā)深刻地認(rèn)識到，語言不能直接等價于知識，知識還需要人的感官與情感作為支撐。

哲學(xué)性地說，人類在以語言表述知識時，有兩種狀態(tài)：一種是真正的智慧，也就是在對知識融會貫通、徹底理解之后，做出有條理、經(jīng)得起盤問的表述；另一種是“人云亦云”，也就是不假思索地復(fù)述他人的說法。例如，對“中國2022年GDP是121萬億元”這一知識，絕大多數(shù)人只是能以不同形式復(fù)述這句話，但對于GDP這個名詞的理解都是糊涂的、經(jīng)不起盤問的，整個體系的相關(guān)知識接近于零。