-
謝耘:為什么要認(rèn)真討論大語言模型的“理解”問題?
我們固然可以依靠信仰,將一個技術(shù)發(fā)揮到極致,就像當(dāng)年Hinton等人所為;但是我們卻無法依靠信仰,讓一個技術(shù)去做我們期望的、又是它所力不能及的事情。每個技術(shù)都有其能力的邊界,認(rèn)識這個邊界對于人類的努力有重要的意義,可以讓我們極大地減少盲目性。一個技術(shù)的能力邊界可以通過理論分析確定,也可以通過實踐碰撞發(fā)現(xiàn)。而現(xiàn)代科學(xué)的強(qiáng)大,就在于可以從一般性原理出發(fā)確定技術(shù)方法的能力邊界,所以我們才走出了傳統(tǒng)的依靠實踐碰撞掌握技術(shù)的工匠時代。今天,在“外意識”領(lǐng)域,我們不能僅僅滿足于實踐碰撞。努力形成一些機(jī)制原理層的認(rèn)識,具有重大的意義。
那么,是否可以通過持續(xù)地增加模型的規(guī)模,進(jìn)而統(tǒng)計更多的數(shù)據(jù),讓模型生成的基于表象的統(tǒng)計性理解去無限逼近人類的本質(zhì)性理解?也就是說在“理解”這個問題上,是否也存在一個類似于概率統(tǒng)計中的“大數(shù)定律”——只要樣本足夠大,統(tǒng)計結(jié)果就可以無限逼近現(xiàn)象背后的本質(zhì)規(guī)律?
這種可能性應(yīng)該相當(dāng)小。
首先,我們沒有這方面的足夠的實踐可以證實利用統(tǒng)計方法可以實現(xiàn)我們期望的理解。人類已有的實踐告訴我們,表象經(jīng)驗單純在數(shù)量上的積累,即使再多也完成不了質(zhì)的飛躍,無法形成對背后本質(zhì)的洞見。或者說如果沒有深思熟慮,“望”再多的“文”,也“生”不出深刻的“義”;
其次,對抽象知識的關(guān)聯(lián)關(guān)系,不同于傳統(tǒng)數(shù)理統(tǒng)計中對簡單事件的概率描述。在傳統(tǒng)數(shù)理統(tǒng)計中,我們統(tǒng)計的是性質(zhì)一致的簡單事件,并且找到了許多不同的情況下理論上的概率分布。而對于抽象知識的關(guān)聯(lián)關(guān)系,因為我們面對的是大量性質(zhì)不同的復(fù)雜“事件”,所以沒有辦法用簡單的類似概率分布的方式來描述。我們現(xiàn)在使用的算法也不是在直接統(tǒng)計人類理解中的本質(zhì)性關(guān)聯(lián),而是統(tǒng)計文字符號之間的相關(guān)性。所以用概率統(tǒng)計中的“大數(shù)定律”來做類比,去推論預(yù)言人工智能的統(tǒng)計可以實現(xiàn)對文字符號背后深層意義的逼近并沒有多少依據(jù)。
最后,目前包括大語言模型在內(nèi)的人工智能使用的統(tǒng)計模型,都是經(jīng)驗性的。經(jīng)驗的有效性具有很大的局限,有其推廣擴(kuò)展的邊界。實踐告訴我們,基于經(jīng)驗構(gòu)造的系統(tǒng),其復(fù)雜功能下的規(guī)模擴(kuò)展性是有限的。比如,如果僅僅憑借經(jīng)驗,人類可以建造規(guī)模宏大但功能簡單的金字塔;然而再出色的能工巧匠恐怕也修建不了達(dá)到迪拜哈利法塔那樣高度而且還有那樣復(fù)雜功能的建筑。相信統(tǒng)計模型可以因為規(guī)模上持續(xù)地擴(kuò)展,而不斷“涌現(xiàn)”出更多的“理解”上的奇跡,不僅沒有理論的支撐,也缺乏充分的實踐依據(jù)。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大學(xué)伯克利分校,現(xiàn)任計算機(jī)科學(xué)系教授(曾任系主任)、人類兼容人工智能中心主任)對基于統(tǒng)計深度學(xué)習(xí)的大語言模型有如下的評論:“(大語言模型)看起來聰明是因為它有大量的數(shù)據(jù),人類迄今為止寫的書、文章……它幾乎都讀過,但盡管如此,在接受了如此之巨的有用信息后,它還是會吐出完全不知所謂的東西。
加州大學(xué)伯克利分校計算機(jī)科學(xué)專業(yè)教授、人類兼容人工智能中心(Center for Human-Compatible AI)創(chuàng)始人斯圖爾特·羅素(Stuart Russell) 圖源:搜狐新聞
所以,在這個意義上,我認(rèn)為語言大模型很可能不是人工智能的一種進(jìn)步。……我們所謂往前走的唯一方法是---模型不 work?好吧,我們再給它更多數(shù)據(jù),把模型再做大一點。我不認(rèn)為擴(kuò)大規(guī)模是答案。”(聞菲,“Stuart Russell專訪:關(guān)于ChatGPT,更多數(shù)據(jù)和更多算力不能帶來真正的智能”,微信公眾號:“機(jī)器之心”,2023年2月20日)
“外意識”跨越從“了解”到“理解”這個鴻溝,可能需要當(dāng)下主流認(rèn)知之外的思路,而不是一味依賴擴(kuò)大規(guī)模增加算力。人們總是對已經(jīng)成功的主流手段有一種近乎迷信般的執(zhí)著,但每一次關(guān)鍵的跨越常常都是在當(dāng)下的主流認(rèn)知之外。就好像這次在Hinton等人的長期頑強(qiáng)堅持下,基于暴力計算的統(tǒng)計方法出乎主流預(yù)料地?fù)?dān)當(dāng)起了實現(xiàn)第一個跨越的重任。近期Yann LeCun被眾人攻擊,便是因為他認(rèn)為當(dāng)下眾人狂熱追捧的自回歸生成式大模型之路已經(jīng)快到盡頭,人工智能要繼續(xù)發(fā)展應(yīng)該走一條新路,這也是他正在進(jìn)行的探索。持這種觀點的學(xué)者并非只有他一個。
杰弗里·辛頓(Geoffrey Hinton)
人類執(zhí)著地試圖造出與自己有著同樣智能的機(jī)器,或許根植于人類自己渴望為造物主的強(qiáng)烈愿望。暴力計算的出現(xiàn)讓這個渴望顯得比以往任何時候都更加具有可實現(xiàn)性。有一位國內(nèi)的學(xué)者對當(dāng)前拼命依靠算力來解決問題的局面寫了一段有趣的評論:“目前這種狀況下,這種領(lǐng)先是極其不保險的,因為說不定突然某一方祭出一個逆天的算法就會一下改變整個戰(zhàn)局。如果這樣往往很戲劇性,很悲壯,因為一方可能剛剛投入幾千億去擴(kuò)充算力,誰知另一方倒騰出一個新的算法,竟可達(dá)到類似的效果卻只需千分之一的算力。所以,未來幾年會非常好玩?!?
然而由于人工智能缺少理論基礎(chǔ),所以對于未來的所有判斷也就都僅僅是一種猜測。最終只由實踐或時間給出答案。
如果我們放開視野去觀察就會發(fā)現(xiàn)或許還有另外一種可能。即“外意識”止步于人工智能的這個鴻溝邊,不再狂熱地模仿追趕人類已有的能力,轉(zhuǎn)而以自己不同于人類的獨特能力,大力創(chuàng)造自己與人類互補(bǔ)的價值,以此對人類的發(fā)展做出新的巨大貢獻(xiàn)。畢竟在人類的歷史上,有許多被認(rèn)為理所當(dāng)然而孜孜以求的目標(biāo),雖歷經(jīng)千年卻依然渺茫,就是做不到,比如修煉成仙而長生不老。
02. “外意識”的感性與理性認(rèn)知
在上一節(jié)的分析中我們看到,大語言模型通過對學(xué)習(xí)樣本在文字符號層的統(tǒng)計分析確實形成了自己獨特的統(tǒng)計性理解。那么這種理解的產(chǎn)物在模型中,或者說在這個“外意識”中,是以什么形態(tài)存在的?它是否能夠直白地告訴我們、或者我們是否能夠直觀地看到它到底理解了什么、掌握了哪些知識?
由于以深度學(xué)習(xí)為代表的統(tǒng)計算法具有“不可解釋性”,所以上述問題的答案是:不能。
如果將它與人類的意識活動做個有趣的對比的話,我們不難看出依靠深度學(xué)習(xí)的大語言模型理解和掌握的內(nèi)容,可以說是以“外意識”的“感性認(rèn)識”的形式存在的。
之所以將這種統(tǒng)計性理解形成的“認(rèn)識”稱之為“外意識”的“感性認(rèn)識”,是因為它在算法中是以分散隱性的形態(tài)存在,沒有形成顯性的以文字符號為基礎(chǔ)的形式化系統(tǒng)性表示。即它沒有形成用文字符號表達(dá)的明確的知識,而是以參數(shù)+模型的形態(tài)存在,只有在使用時才能間接地感受到它的作用。
統(tǒng)計性理解形成的這種感性認(rèn)識有其明顯的局限。首先是不可傳遞性。因為沒有作為顯性的認(rèn)知存在而無法被剝離出來。如果要傳遞,也只能是以參數(shù)+模型的整體方式進(jìn)行;其次,無法對其做解析分析,不能從理性邏輯的角度去分析這種認(rèn)識的合理性與正確性。這些特征與人類的感性認(rèn)識都非常類似。
我們把人類的認(rèn)識分為感性與理性,就是因為理性認(rèn)識是可以用文字符號等形式化的方式清晰地表達(dá)出來的,而感性認(rèn)識卻做不到。個人的感性認(rèn)識要想傳遞的話,基本只能自己親自到場操作,這與參數(shù)+模型的方式本質(zhì)是一樣的。
在人類的發(fā)展過程中,從感性思維發(fā)展到理性思維能力,是人類進(jìn)化的一個重要的里程碑。它讓人類的知識從此有了可以超越個體生命的存在而持續(xù)不斷積累提升的可能。在對事物的認(rèn)識過程中,從感性認(rèn)識上升到理性認(rèn)識是非常重要的一步跨越。人類的知識積累、一代代人認(rèn)知的不斷深化,都依賴于理性認(rèn)識。這也是近現(xiàn)代科學(xué)得以歷經(jīng)四百年而發(fā)展到今天這樣輝煌的高度的必要基礎(chǔ)之一。
對于人類自己大腦中的“內(nèi)意識”是如此,那么對于人類創(chuàng)造的大腦外的“外意識”呢?把自己學(xué)習(xí)到的內(nèi)容,用人類可以理解的顯性方式呈現(xiàn)出來,讓它變成“外意識”的理性認(rèn)識,是不是未來機(jī)器學(xué)習(xí)需要走出的具有決定意義的一步?
顯然,如果“外意識”能夠做到這一步,將是一個質(zhì)的飛躍。這將帶來不可估量的影響,要比它像現(xiàn)在這樣不明不白地又學(xué)會了一個新技能要重要的多得多。把“外意識”的這種感性認(rèn)識變成理性認(rèn)識會讓我們對機(jī)器學(xué)習(xí)的方法有更深刻的理解,從而可以更有方向性地提升機(jī)器學(xué)習(xí)的能力,開發(fā)新的機(jī)器學(xué)習(xí)算法;也會讓機(jī)器學(xué)習(xí)的結(jié)果在更多的方面起到更大的作用,成為人類知識寶庫的重要補(bǔ)充來源之一;讓人類的內(nèi)外意識更加密切地融合在一起,進(jìn)一步提升人類整體的智慧能力。
這是一個巨大的挑戰(zhàn)。目前在人工智能領(lǐng)域內(nèi)的許多研究工作,包括對機(jī)器學(xué)習(xí)的可解釋性研究都與此密切相關(guān),但一直沒有實質(zhì)性突破。
那么,“外意識”是否與人類的內(nèi)意識一樣,也是先有感性認(rèn)識再有理性認(rèn)識的?如果我們脫離目前基于統(tǒng)計的人工智能的視角,就很容易看到“外意識”走了一條很不相同的路。它是先有理性認(rèn)識,然后才發(fā)展出感性認(rèn)識的。
“外意識”從誕生之日起,一直非常“理性”,直到“暴力計算”的出現(xiàn)才打破了這個局面,讓它開始變得“感性”起來。
自從計算機(jī)誕生直到這一輪人工智能熱潮的興起,“外意識”都是人類理性創(chuàng)造的產(chǎn)物。人類將自己的理性認(rèn)識注入到“外意識”中,轉(zhuǎn)化為它自身的邏輯,讓其清晰地按照這種理性認(rèn)識去完成各項任務(wù)。雖然這些理性認(rèn)識不是“外意識”自己產(chǎn)生的,但是這種做法讓“外意識”確實從人類那里獲得了大量的對這個世界的理解,然后按照這些理解、按照人類的理性認(rèn)識去循規(guī)蹈矩地勞作。即使在深度學(xué)習(xí)讓“外意識”可以自己形成出人預(yù)料的各種“感性認(rèn)識”之后,業(yè)界依然有一個說法:“有多少人的智能,就有多少人工智能”。顯然這個時候人們依然認(rèn)為人類注入到“外意識”中的理性認(rèn)識依然是起決定作用的因素。
-
本文僅代表作者個人觀點。
- 責(zé)任編輯: 史岱君 
-
“知假買假”者惡意高額索賠,最高法發(fā)布司法解釋
2024-08-21 11:08 食品安全 -
學(xué)習(xí)時報:解放思想是個重大政治問題
2024-08-21 08:40 -
湖北:推行分管案件的縣紀(jì)委副書記異地交流任職后,反腐力度明顯加大
2024-08-21 08:17 廉政風(fēng)暴 -
國家衛(wèi)健委:將對授予護(hù)士處方權(quán)工作的必要性進(jìn)行充分論證
2024-08-21 08:00 醫(yī)療改革 -
廣西北海多人趕海遭雷擊,官方通報:1人死亡
2024-08-21 07:42 -
放票秒沒、60元門票被炒到1600元,故宮回應(yīng)
2024-08-21 07:29 -
巴黎長榮桂冠酒店拒絕懸掛中國國旗遭旅法僑界譴責(zé),中使館發(fā)聲
2024-08-21 06:50 -
智障男子服刑近10年改判無罪后哥哥發(fā)聲:希望對相關(guān)法官追責(zé)
2024-08-20 21:50 疑案追蹤 -
習(xí)近平接見第33屆奧運會中國體育代表團(tuán)
2024-08-20 19:37 -
習(xí)近平會見出席全國人大加入各國議會聯(lián)盟40周年紀(jì)念活動
2024-08-20 19:10 -
鄭州警方回應(yīng)女子被男子壓身下毆打:男子精神分裂
2024-08-20 18:14 -
央視起底:氧氣放掉,用藥直接丟垃圾箱,工傷保險基金成“提款機(jī)”
2024-08-20 18:01 醫(yī)療改革 -
強(qiáng)降雨致300多名受災(zāi)群眾被困,葫蘆島應(yīng)急局出動三十多架救援直升機(jī)
2024-08-20 17:32 極端天氣 -
日媒中國籍播音員播報時說“釣魚島是中國”,最新后續(xù)
2024-08-20 16:30 日本 -
大搞數(shù)字政績與家族式腐敗,湖南省政協(xié)原副主席戴道晉被逮捕
2024-08-20 15:29 廉政風(fēng)暴 -
多地農(nóng)村地區(qū)離婚率上升引關(guān)注,機(jī)構(gòu)和學(xué)者分析原因提出對策
2024-08-20 13:33 婚姻故事 -
受強(qiáng)降雨影響,遼寧葫蘆島4個村通信中斷
2024-08-20 12:55 極端天氣 -
足協(xié)競賽部原部長黃松因受賄罪一審被判七年
2024-08-20 08:53 廉政風(fēng)暴 -
出廠價5萬賣給醫(yī)院12萬,國家醫(yī)保局問詢藥企
2024-08-20 06:59 -
寧夏一化工車間發(fā)生爆炸,5人遇難
2024-08-19 22:09 安全生產(chǎn)
相關(guān)推薦 -
美國官員:殲-10擊落陣風(fēng),沒用F-16 評論 302“印巴沖突是敘事之戰(zhàn),中國裝備重要性凸顯” 評論 193最新聞 Hot
-
“全球都將研究,中國與西方最強(qiáng)大武器直接對決”
-
許紅兵,主動投案
-
美國官員:殲-10擊落陣風(fēng),沒用F-16
-
特朗普:對華關(guān)稅145%到頂了,要降
-
美大使污蔑“中國不是好盟友”,我駐巴拿馬使館駁斥
-
印度稱軍事基地遭巴基斯坦襲擊,巴方否認(rèn)
-
特朗普:可能找中國幫忙
-
大搞家庭式腐敗,甘肅省原副省長趙金云被決定逮捕
-
蓋茨怒懟:馬斯克就是在殺死兒童
-
微軟總裁瞎操心:不讓員工用DeepSeek
-
特朗普:美國與烏克蘭達(dá)成稀土協(xié)議
-
特朗普祝賀:歷史性時刻,美國的莫大榮耀
-
100多架飛機(jī)大戰(zhàn)后,印巴局勢怎么走?
-
美國又炒作“中國在古巴進(jìn)行間諜活動”,我大使駁斥
-
美英談成了,“英國讓步”
-
沖突愈演愈烈,莫迪首發(fā)聲
-