-
謝耘:為什么要認(rèn)真討論大語(yǔ)言模型的“理解”問題?
我們固然可以依靠信仰,將一個(gè)技術(shù)發(fā)揮到極致,就像當(dāng)年Hinton等人所為;但是我們卻無法依靠信仰,讓一個(gè)技術(shù)去做我們期望的、又是它所力不能及的事情。每個(gè)技術(shù)都有其能力的邊界,認(rèn)識(shí)這個(gè)邊界對(duì)于人類的努力有重要的意義,可以讓我們極大地減少盲目性。一個(gè)技術(shù)的能力邊界可以通過理論分析確定,也可以通過實(shí)踐碰撞發(fā)現(xiàn)。而現(xiàn)代科學(xué)的強(qiáng)大,就在于可以從一般性原理出發(fā)確定技術(shù)方法的能力邊界,所以我們才走出了傳統(tǒng)的依靠實(shí)踐碰撞掌握技術(shù)的工匠時(shí)代。今天,在“外意識(shí)”領(lǐng)域,我們不能僅僅滿足于實(shí)踐碰撞。努力形成一些機(jī)制原理層的認(rèn)識(shí),具有重大的意義。
那么,是否可以通過持續(xù)地增加模型的規(guī)模,進(jìn)而統(tǒng)計(jì)更多的數(shù)據(jù),讓模型生成的基于表象的統(tǒng)計(jì)性理解去無限逼近人類的本質(zhì)性理解?也就是說在“理解”這個(gè)問題上,是否也存在一個(gè)類似于概率統(tǒng)計(jì)中的“大數(shù)定律”——只要樣本足夠大,統(tǒng)計(jì)結(jié)果就可以無限逼近現(xiàn)象背后的本質(zhì)規(guī)律?
這種可能性應(yīng)該相當(dāng)小。
首先,我們沒有這方面的足夠的實(shí)踐可以證實(shí)利用統(tǒng)計(jì)方法可以實(shí)現(xiàn)我們期望的理解。人類已有的實(shí)踐告訴我們,表象經(jīng)驗(yàn)單純?cè)跀?shù)量上的積累,即使再多也完成不了質(zhì)的飛躍,無法形成對(duì)背后本質(zhì)的洞見。或者說如果沒有深思熟慮,“望”再多的“文”,也“生”不出深刻的“義”;
其次,對(duì)抽象知識(shí)的關(guān)聯(lián)關(guān)系,不同于傳統(tǒng)數(shù)理統(tǒng)計(jì)中對(duì)簡(jiǎn)單事件的概率描述。在傳統(tǒng)數(shù)理統(tǒng)計(jì)中,我們統(tǒng)計(jì)的是性質(zhì)一致的簡(jiǎn)單事件,并且找到了許多不同的情況下理論上的概率分布。而對(duì)于抽象知識(shí)的關(guān)聯(lián)關(guān)系,因?yàn)槲覀兠鎸?duì)的是大量性質(zhì)不同的復(fù)雜“事件”,所以沒有辦法用簡(jiǎn)單的類似概率分布的方式來描述。我們現(xiàn)在使用的算法也不是在直接統(tǒng)計(jì)人類理解中的本質(zhì)性關(guān)聯(lián),而是統(tǒng)計(jì)文字符號(hào)之間的相關(guān)性。所以用概率統(tǒng)計(jì)中的“大數(shù)定律”來做類比,去推論預(yù)言人工智能的統(tǒng)計(jì)可以實(shí)現(xiàn)對(duì)文字符號(hào)背后深層意義的逼近并沒有多少依據(jù)。
最后,目前包括大語(yǔ)言模型在內(nèi)的人工智能使用的統(tǒng)計(jì)模型,都是經(jīng)驗(yàn)性的。經(jīng)驗(yàn)的有效性具有很大的局限,有其推廣擴(kuò)展的邊界。實(shí)踐告訴我們,基于經(jīng)驗(yàn)構(gòu)造的系統(tǒng),其復(fù)雜功能下的規(guī)模擴(kuò)展性是有限的。比如,如果僅僅憑借經(jīng)驗(yàn),人類可以建造規(guī)模宏大但功能簡(jiǎn)單的金字塔;然而再出色的能工巧匠恐怕也修建不了達(dá)到迪拜哈利法塔那樣高度而且還有那樣復(fù)雜功能的建筑。相信統(tǒng)計(jì)模型可以因?yàn)橐?guī)模上持續(xù)地?cái)U(kuò)展,而不斷“涌現(xiàn)”出更多的“理解”上的奇跡,不僅沒有理論的支撐,也缺乏充分的實(shí)踐依據(jù)。
所以,《Artificial Intelligence:A Modern Approach》的作者之一Stuart Russell (加州大學(xué)伯克利分校,現(xiàn)任計(jì)算機(jī)科學(xué)系教授(曾任系主任)、人類兼容人工智能中心主任)對(duì)基于統(tǒng)計(jì)深度學(xué)習(xí)的大語(yǔ)言模型有如下的評(píng)論:“(大語(yǔ)言模型)看起來聰明是因?yàn)樗写罅康臄?shù)據(jù),人類迄今為止寫的書、文章……它幾乎都讀過,但盡管如此,在接受了如此之巨的有用信息后,它還是會(huì)吐出完全不知所謂的東西。
加州大學(xué)伯克利分校計(jì)算機(jī)科學(xué)專業(yè)教授、人類兼容人工智能中心(Center for Human-Compatible AI)創(chuàng)始人斯圖爾特·羅素(Stuart Russell) 圖源:搜狐新聞
所以,在這個(gè)意義上,我認(rèn)為語(yǔ)言大模型很可能不是人工智能的一種進(jìn)步?!覀兯^往前走的唯一方法是---模型不 work?好吧,我們?cè)俳o它更多數(shù)據(jù),把模型再做大一點(diǎn)。我不認(rèn)為擴(kuò)大規(guī)模是答案?!保劮疲癝tuart Russell專訪:關(guān)于ChatGPT,更多數(shù)據(jù)和更多算力不能帶來真正的智能”,微信公眾號(hào):“機(jī)器之心”,2023年2月20日)
“外意識(shí)”跨越從“了解”到“理解”這個(gè)鴻溝,可能需要當(dāng)下主流認(rèn)知之外的思路,而不是一味依賴擴(kuò)大規(guī)模增加算力。人們總是對(duì)已經(jīng)成功的主流手段有一種近乎迷信般的執(zhí)著,但每一次關(guān)鍵的跨越常常都是在當(dāng)下的主流認(rèn)知之外。就好像這次在Hinton等人的長(zhǎng)期頑強(qiáng)堅(jiān)持下,基于暴力計(jì)算的統(tǒng)計(jì)方法出乎主流預(yù)料地?fù)?dān)當(dāng)起了實(shí)現(xiàn)第一個(gè)跨越的重任。近期Yann LeCun被眾人攻擊,便是因?yàn)樗J(rèn)為當(dāng)下眾人狂熱追捧的自回歸生成式大模型之路已經(jīng)快到盡頭,人工智能要繼續(xù)發(fā)展應(yīng)該走一條新路,這也是他正在進(jìn)行的探索。持這種觀點(diǎn)的學(xué)者并非只有他一個(gè)。
杰弗里·辛頓(Geoffrey Hinton)
人類執(zhí)著地試圖造出與自己有著同樣智能的機(jī)器,或許根植于人類自己渴望為造物主的強(qiáng)烈愿望。暴力計(jì)算的出現(xiàn)讓這個(gè)渴望顯得比以往任何時(shí)候都更加具有可實(shí)現(xiàn)性。有一位國(guó)內(nèi)的學(xué)者對(duì)當(dāng)前拼命依靠算力來解決問題的局面寫了一段有趣的評(píng)論:“目前這種狀況下,這種領(lǐng)先是極其不保險(xiǎn)的,因?yàn)檎f不定突然某一方祭出一個(gè)逆天的算法就會(huì)一下改變整個(gè)戰(zhàn)局。如果這樣往往很戲劇性,很悲壯,因?yàn)橐环娇赡軇倓偼度霂浊|去擴(kuò)充算力,誰(shuí)知另一方倒騰出一個(gè)新的算法,竟可達(dá)到類似的效果卻只需千分之一的算力。所以,未來幾年會(huì)非常好玩。”
然而由于人工智能缺少理論基礎(chǔ),所以對(duì)于未來的所有判斷也就都僅僅是一種猜測(cè)。最終只由實(shí)踐或時(shí)間給出答案。
如果我們放開視野去觀察就會(huì)發(fā)現(xiàn)或許還有另外一種可能。即“外意識(shí)”止步于人工智能的這個(gè)鴻溝邊,不再狂熱地模仿追趕人類已有的能力,轉(zhuǎn)而以自己不同于人類的獨(dú)特能力,大力創(chuàng)造自己與人類互補(bǔ)的價(jià)值,以此對(duì)人類的發(fā)展做出新的巨大貢獻(xiàn)。畢竟在人類的歷史上,有許多被認(rèn)為理所當(dāng)然而孜孜以求的目標(biāo),雖歷經(jīng)千年卻依然渺茫,就是做不到,比如修煉成仙而長(zhǎng)生不老。
02. “外意識(shí)”的感性與理性認(rèn)知
在上一節(jié)的分析中我們看到,大語(yǔ)言模型通過對(duì)學(xué)習(xí)樣本在文字符號(hào)層的統(tǒng)計(jì)分析確實(shí)形成了自己獨(dú)特的統(tǒng)計(jì)性理解。那么這種理解的產(chǎn)物在模型中,或者說在這個(gè)“外意識(shí)”中,是以什么形態(tài)存在的?它是否能夠直白地告訴我們、或者我們是否能夠直觀地看到它到底理解了什么、掌握了哪些知識(shí)?
由于以深度學(xué)習(xí)為代表的統(tǒng)計(jì)算法具有“不可解釋性”,所以上述問題的答案是:不能。
如果將它與人類的意識(shí)活動(dòng)做個(gè)有趣的對(duì)比的話,我們不難看出依靠深度學(xué)習(xí)的大語(yǔ)言模型理解和掌握的內(nèi)容,可以說是以“外意識(shí)”的“感性認(rèn)識(shí)”的形式存在的。
之所以將這種統(tǒng)計(jì)性理解形成的“認(rèn)識(shí)”稱之為“外意識(shí)”的“感性認(rèn)識(shí)”,是因?yàn)樗谒惴ㄖ惺且苑稚㈦[性的形態(tài)存在,沒有形成顯性的以文字符號(hào)為基礎(chǔ)的形式化系統(tǒng)性表示。即它沒有形成用文字符號(hào)表達(dá)的明確的知識(shí),而是以參數(shù)+模型的形態(tài)存在,只有在使用時(shí)才能間接地感受到它的作用。
統(tǒng)計(jì)性理解形成的這種感性認(rèn)識(shí)有其明顯的局限。首先是不可傳遞性。因?yàn)闆]有作為顯性的認(rèn)知存在而無法被剝離出來。如果要傳遞,也只能是以參數(shù)+模型的整體方式進(jìn)行;其次,無法對(duì)其做解析分析,不能從理性邏輯的角度去分析這種認(rèn)識(shí)的合理性與正確性。這些特征與人類的感性認(rèn)識(shí)都非常類似。
我們把人類的認(rèn)識(shí)分為感性與理性,就是因?yàn)槔硇哉J(rèn)識(shí)是可以用文字符號(hào)等形式化的方式清晰地表達(dá)出來的,而感性認(rèn)識(shí)卻做不到。個(gè)人的感性認(rèn)識(shí)要想傳遞的話,基本只能自己親自到場(chǎng)操作,這與參數(shù)+模型的方式本質(zhì)是一樣的。
在人類的發(fā)展過程中,從感性思維發(fā)展到理性思維能力,是人類進(jìn)化的一個(gè)重要的里程碑。它讓人類的知識(shí)從此有了可以超越個(gè)體生命的存在而持續(xù)不斷積累提升的可能。在對(duì)事物的認(rèn)識(shí)過程中,從感性認(rèn)識(shí)上升到理性認(rèn)識(shí)是非常重要的一步跨越。人類的知識(shí)積累、一代代人認(rèn)知的不斷深化,都依賴于理性認(rèn)識(shí)。這也是近現(xiàn)代科學(xué)得以歷經(jīng)四百年而發(fā)展到今天這樣輝煌的高度的必要基礎(chǔ)之一。
對(duì)于人類自己大腦中的“內(nèi)意識(shí)”是如此,那么對(duì)于人類創(chuàng)造的大腦外的“外意識(shí)”呢?把自己學(xué)習(xí)到的內(nèi)容,用人類可以理解的顯性方式呈現(xiàn)出來,讓它變成“外意識(shí)”的理性認(rèn)識(shí),是不是未來機(jī)器學(xué)習(xí)需要走出的具有決定意義的一步?
顯然,如果“外意識(shí)”能夠做到這一步,將是一個(gè)質(zhì)的飛躍。這將帶來不可估量的影響,要比它像現(xiàn)在這樣不明不白地又學(xué)會(huì)了一個(gè)新技能要重要的多得多。把“外意識(shí)”的這種感性認(rèn)識(shí)變成理性認(rèn)識(shí)會(huì)讓我們對(duì)機(jī)器學(xué)習(xí)的方法有更深刻的理解,從而可以更有方向性地提升機(jī)器學(xué)習(xí)的能力,開發(fā)新的機(jī)器學(xué)習(xí)算法;也會(huì)讓機(jī)器學(xué)習(xí)的結(jié)果在更多的方面起到更大的作用,成為人類知識(shí)寶庫(kù)的重要補(bǔ)充來源之一;讓人類的內(nèi)外意識(shí)更加密切地融合在一起,進(jìn)一步提升人類整體的智慧能力。
這是一個(gè)巨大的挑戰(zhàn)。目前在人工智能領(lǐng)域內(nèi)的許多研究工作,包括對(duì)機(jī)器學(xué)習(xí)的可解釋性研究都與此密切相關(guān),但一直沒有實(shí)質(zhì)性突破。
那么,“外意識(shí)”是否與人類的內(nèi)意識(shí)一樣,也是先有感性認(rèn)識(shí)再有理性認(rèn)識(shí)的?如果我們脫離目前基于統(tǒng)計(jì)的人工智能的視角,就很容易看到“外意識(shí)”走了一條很不相同的路。它是先有理性認(rèn)識(shí),然后才發(fā)展出感性認(rèn)識(shí)的。
“外意識(shí)”從誕生之日起,一直非?!袄硇浴保钡健氨┝τ?jì)算”的出現(xiàn)才打破了這個(gè)局面,讓它開始變得“感性”起來。
自從計(jì)算機(jī)誕生直到這一輪人工智能熱潮的興起,“外意識(shí)”都是人類理性創(chuàng)造的產(chǎn)物。人類將自己的理性認(rèn)識(shí)注入到“外意識(shí)”中,轉(zhuǎn)化為它自身的邏輯,讓其清晰地按照這種理性認(rèn)識(shí)去完成各項(xiàng)任務(wù)。雖然這些理性認(rèn)識(shí)不是“外意識(shí)”自己產(chǎn)生的,但是這種做法讓“外意識(shí)”確實(shí)從人類那里獲得了大量的對(duì)這個(gè)世界的理解,然后按照這些理解、按照人類的理性認(rèn)識(shí)去循規(guī)蹈矩地勞作。即使在深度學(xué)習(xí)讓“外意識(shí)”可以自己形成出人預(yù)料的各種“感性認(rèn)識(shí)”之后,業(yè)界依然有一個(gè)說法:“有多少人的智能,就有多少人工智能”。顯然這個(gè)時(shí)候人們依然認(rèn)為人類注入到“外意識(shí)”中的理性認(rèn)識(shí)依然是起決定作用的因素。
-
本文僅代表作者個(gè)人觀點(diǎn)。
- 責(zé)任編輯: 史岱君 
-
“知假買假”者惡意高額索賠,最高法發(fā)布司法解釋
2024-08-21 11:08 食品安全 -
學(xué)習(xí)時(shí)報(bào):解放思想是個(gè)重大政治問題
2024-08-21 08:40 -
湖北:推行分管案件的縣紀(jì)委副書記異地交流任職后,反腐力度明顯加大
2024-08-21 08:17 廉政風(fēng)暴 -
國(guó)家衛(wèi)健委:將對(duì)授予護(hù)士處方權(quán)工作的必要性進(jìn)行充分論證
2024-08-21 08:00 醫(yī)療改革 -
廣西北海多人趕海遭雷擊,官方通報(bào):1人死亡
2024-08-21 07:42 -
放票秒沒、60元門票被炒到1600元,故宮回應(yīng)
2024-08-21 07:29 -
巴黎長(zhǎng)榮桂冠酒店拒絕懸掛中國(guó)國(guó)旗遭旅法僑界譴責(zé),中使館發(fā)聲
2024-08-21 06:50 -
智障男子服刑近10年改判無罪后哥哥發(fā)聲:希望對(duì)相關(guān)法官追責(zé)
2024-08-20 21:50 疑案追蹤 -
習(xí)近平接見第33屆奧運(yùn)會(huì)中國(guó)體育代表團(tuán)
2024-08-20 19:37 -
習(xí)近平會(huì)見出席全國(guó)人大加入各國(guó)議會(huì)聯(lián)盟40周年紀(jì)念活動(dòng)
2024-08-20 19:10 -
鄭州警方回應(yīng)女子被男子壓身下毆打:男子精神分裂
2024-08-20 18:14 -
央視起底:氧氣放掉,用藥直接丟垃圾箱,工傷保險(xiǎn)基金成“提款機(jī)”
2024-08-20 18:01 醫(yī)療改革 -
強(qiáng)降雨致300多名受災(zāi)群眾被困,葫蘆島應(yīng)急局出動(dòng)三十多架救援直升機(jī)
2024-08-20 17:32 極端天氣 -
日媒中國(guó)籍播音員播報(bào)時(shí)說“釣魚島是中國(guó)”,最新后續(xù)
2024-08-20 16:30 日本 -
大搞數(shù)字政績(jī)與家族式腐敗,湖南省政協(xié)原副主席戴道晉被逮捕
2024-08-20 15:29 廉政風(fēng)暴 -
多地農(nóng)村地區(qū)離婚率上升引關(guān)注,機(jī)構(gòu)和學(xué)者分析原因提出對(duì)策
2024-08-20 13:33 婚姻故事 -
受強(qiáng)降雨影響,遼寧葫蘆島4個(gè)村通信中斷
2024-08-20 12:55 極端天氣 -
足協(xié)競(jìng)賽部原部長(zhǎng)黃松因受賄罪一審被判七年
2024-08-20 08:53 廉政風(fēng)暴 -
出廠價(jià)5萬賣給醫(yī)院12萬,國(guó)家醫(yī)保局問詢藥企
2024-08-20 06:59 -
寧夏一化工車間發(fā)生爆炸,5人遇難
2024-08-19 22:09 安全生產(chǎn)
相關(guān)推薦 -
以軍被曝強(qiáng)迫加沙平民作人盾,“就像玩具一樣” 評(píng)論 227以色列提以黎?;饤l件,美官員都看不下去 評(píng)論 167最后時(shí)刻逆轉(zhuǎn),摩爾多瓦以微弱優(yōu)勢(shì)贊成入歐 評(píng)論 241“全世界眼睜睜看著他被活活燒死” 評(píng)論 370最新聞 Hot
-
“被騙兩次算我蠢,歐盟準(zhǔn)備好回?fù)簟?/a>
-
印外長(zhǎng)稱:中印邊境問題,達(dá)成協(xié)議
-
武契奇要見馮德萊恩去不了金磚:我對(duì)普京很誠(chéng)實(shí)
-
白宮:不予置評(píng)
-
以軍被曝強(qiáng)迫加沙平民作人盾,“就像玩具一樣”
-
以色列稱真主黨在醫(yī)院地下藏?cái)?shù)億現(xiàn)金和黃金,院長(zhǎng)駁斥
-
以色列宣布:破獲伊朗間諜大案
-
以色列提以黎?;饤l件,美官員都看不下去
-
“中老鐵路改變泰國(guó)榴蓮命運(yùn)”
-
最后時(shí)刻逆轉(zhuǎn),摩爾多瓦以微弱優(yōu)勢(shì)贊成入歐
-
“德國(guó)車企不應(yīng)害怕中國(guó)競(jìng)爭(zhēng),因?yàn)椤?/a>
-
大選前美防長(zhǎng)再訪烏克蘭,但“估計(jì)只是口頭支持”
-
沙特阿美CEO:非??春弥袊?guó)
-
“我們從不搞暗殺,有些G7國(guó)家干過”
-
“全世界眼睜睜看著他被活活燒死”
-
“這是中國(guó)故事,不是英國(guó)人視角”
快訊- 紅豆股份:元宇宙營(yíng)銷入選“江蘇省數(shù)字消費(fèi)創(chuàng)新場(chǎng)景”名單
- “蘇聯(lián)衛(wèi)星上天,美國(guó)才意識(shí)到科技競(jìng)爭(zhēng)要靠政府”
- “舉辦44屆以來,首次在中國(guó)內(nèi)地召開”
- 習(xí)近平離京赴喀山出席金磚國(guó)家領(lǐng)導(dǎo)人第十六次會(huì)晤
- 高通推出新旗艦芯片,小米、榮耀等中國(guó)廠商“力挺”
- 女孩遇公交車“漲價(jià)”,被拒載后走回家?官方通報(bào)
- 五人委員會(huì)將暫時(shí)領(lǐng)導(dǎo)哈馬斯
- 綠色產(chǎn)業(yè)的發(fā)展,彌補(bǔ)不了房地產(chǎn)的疲弱?
-