-
中國(guó)高校為何難出大模型?下一代AI仍依賴基礎(chǔ)科研的突破
ChatGPT誕生至今已過(guò)去9個(gè)多月,大模型在產(chǎn)業(yè)界和學(xué)界的最新進(jìn)展有哪些?
在8月24日舉行的2023世界人工智能大會(huì)(WAIC)青年優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)儀式暨青年科學(xué)家論壇上,談到大模型為何難以首先誕生在高校,同濟(jì)大學(xué)計(jì)算機(jī)系副主任何良華教授認(rèn)為,學(xué)界之所以很難出現(xiàn)ChatGPT這樣的模型,主要是算力和數(shù)據(jù)的問(wèn)題。
何良華說(shuō),大模型非常吃算力,高校也難以去購(gòu)買(mǎi)大量的算力。而有了算力之后,要把參數(shù)訓(xùn)練得比較成熟,需要海量的數(shù)據(jù),但是學(xué)界是拿不到這么多數(shù)據(jù)的。除了這兩個(gè)問(wèn)題,還和學(xué)界自身的需求有關(guān)?!拔覀兌计谕诶碚撋献鲆恍﹦?chuàng)新。比如我的學(xué)生如果跟我說(shuō)現(xiàn)在需要幾千張卡(算力)來(lái)做一個(gè)事情,我所有的經(jīng)費(fèi)給他也不夠,課題也難以立項(xiàng)。因?yàn)樗炔皇菓?yīng)用,又不是理論,找不到這樣一筆經(jīng)費(fèi),研究只能中斷?!?
和團(tuán)隊(duì)率先在國(guó)內(nèi)發(fā)布了具備 ChatGPT 能力語(yǔ)言模型MOSS的復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬表示,大模型更頂尖的研究機(jī)構(gòu)在業(yè)界,這是一個(gè)不可回避的事實(shí)。從DeepMind再到OpenAI,都是如此。美國(guó)的很多著名高校,從研究實(shí)力上看已經(jīng)落后于這些頂級(jí)的研究院了。
邱錫鵬解釋,學(xué)校和研究院的差異還是在于自由的探索。對(duì)于很多研究院來(lái)講,長(zhǎng)期的目標(biāo)還是奔著盈利,包括國(guó)內(nèi)很多企業(yè)之前也建了很多研究院,過(guò)不了幾年就發(fā)現(xiàn)可能面臨著盈利、變現(xiàn)的壓力,導(dǎo)致做的研究不是特別純粹。在他看來(lái),OpenAI的團(tuán)隊(duì)是一個(gè)以前沒(méi)有出現(xiàn)過(guò)的形態(tài),這種制度設(shè)計(jì)非常好,能使團(tuán)隊(duì)既能堅(jiān)持本心做研究,同時(shí)也沒(méi)有那么大的壓力。
“在學(xué)校的話還是要發(fā)揮學(xué)校的長(zhǎng)處,做的研究沒(méi)有太多的盈利要求或面臨短期變現(xiàn)的壓力,也可以思考得更長(zhǎng)遠(yuǎn)。特別在如今高算力要求的情況下,在學(xué)術(shù)界和產(chǎn)業(yè)界的研究院之間,還是可以發(fā)揮學(xué)術(shù)界的優(yōu)勢(shì)?!彼f(shuō)。
上??萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院常任助理教授錢(qián)學(xué)駿則認(rèn)為,工業(yè)界做出的很多有影響力的工作,可能不是學(xué)界追求的主要目標(biāo)。“學(xué)界可能更想(發(fā)明)一種思路上的創(chuàng)新(新想法、新應(yīng)用),而不是通過(guò)大算力、大數(shù)據(jù),各方面的優(yōu)勢(shì)集中做出來(lái)了,對(duì)學(xué)界來(lái)說(shuō)這些也不夠有優(yōu)勢(shì),無(wú)法獲得大量數(shù)據(jù)?!?
華為諾亞方舟實(shí)驗(yàn)室AI研究員謝恩澤說(shuō),怎么構(gòu)建高質(zhì)量的數(shù)據(jù)集,可能是對(duì)于大模型能力一個(gè)很重要的補(bǔ)充。訓(xùn)練大模型本身來(lái)說(shuō),用多大參數(shù)的模型、配多大的數(shù)據(jù)量,以及用多長(zhǎng)時(shí)間,這些協(xié)同也是很重要的。而這些只有在少數(shù)幾個(gè)大廠才有機(jī)會(huì)接觸到這些資源。
今年以來(lái),生成式人工智能的發(fā)展成為地方政府和科技大廠瞄準(zhǔn)的關(guān)鍵詞。科技部人工智能發(fā)展研究中心5月底發(fā)布的《中國(guó)人工智能大模型地圖研究報(bào)告》顯示,當(dāng)前國(guó)內(nèi)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個(gè)。
在不久前的浦江基礎(chǔ)科學(xué)發(fā)展論壇上,清華大學(xué)人工智能研究院常務(wù)副院長(zhǎng)孫茂松教授對(duì)第一財(cái)經(jīng)表示,我國(guó)乃至全球發(fā)展大模型最終的突破關(guān)鍵,是基礎(chǔ)科學(xué)的突破。
他說(shuō),對(duì)于大模型,當(dāng)前的問(wèn)題在于并不清楚OpenAI的機(jī)理是如何運(yùn)作的,就連推出ChatGPT的OpenAI公司首席執(zhí)行官薩姆·奧特曼也表示,雖然做出了GPT但也不清楚發(fā)生的原理,“實(shí)際上就是對(duì)這個(gè)機(jī)理還不清楚”。他認(rèn)為,現(xiàn)有的人工智能模型已經(jīng)能做到說(shuō)話通順,但這個(gè)問(wèn)題的內(nèi)在實(shí)現(xiàn)邏輯仍然十分復(fù)雜。如果弄清楚了大模型里的規(guī)律、ChatGPT背后的機(jī)理,就有可能克服現(xiàn)有人工智能大模型的局限性,建立下一代人工智能的理論和模型。
- 原標(biāo)題:中國(guó)高校為何難出大模型?下一代AI仍依賴基礎(chǔ)科研的突破
- 責(zé)任編輯: 連政 
-
水稻并非在中國(guó)單次起源,但80%基因來(lái)自中國(guó)
2023-08-23 06:58 -
印度“月船3號(hào)”月球探測(cè)器與“月船2號(hào)”軌道器建立通信連接
2023-08-21 22:05 航空航天 -
大藤峽工程最后一臺(tái)機(jī)組并網(wǎng)發(fā)電
2023-08-21 20:05 超級(jí)工程 -
印度公布登月著陸時(shí)間及具體步驟
2023-08-20 21:23 航空航天 -
俄“月球-25 ”號(hào)探測(cè)器與月球表面發(fā)生碰撞:已失聯(lián)
2023-08-20 17:09 航空航天 -
我國(guó)首個(gè)大型巡天空間望遠(yuǎn)鏡正在研制
2023-08-19 15:16 -
國(guó)際首套!中國(guó)300兆瓦先進(jìn)壓縮空氣儲(chǔ)能系統(tǒng)膨脹機(jī)順利下線
2023-08-17 15:37 能源戰(zhàn)略 -
英特爾顯卡成亞運(yùn)會(huì)官方指定圖形處理器
2023-08-17 15:28 亞運(yùn)經(jīng)濟(jì) -
我國(guó)二氧化碳精準(zhǔn)合成己糖技術(shù)取得新進(jìn)展
2023-08-16 22:37 科技前沿 -
我科學(xué)家成功打印出“金屬力學(xué)超材料”
2023-08-16 07:51 科技前沿 -
天津大學(xué)成功研發(fā)5.5G/6G“技術(shù)心臟”
2023-08-16 06:54 5G -
吳艷華總師率團(tuán)出席俄羅斯月球-25號(hào)探測(cè)器發(fā)射活動(dòng)
2023-08-15 16:04 航空航天 -
全球人工智能發(fā)展,可能還會(huì)走上核武競(jìng)爭(zhēng)的老路
2023-08-13 08:33 這就是中國(guó) -
如果一家公司或者一個(gè)人,利用人工智能把整個(gè)世界毀滅……
2023-08-12 09:45 人工智能 -
碧桂園已籌備債務(wù)重整 近期啟動(dòng)相關(guān)程序
2023-08-11 08:17 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
“為了這組高清圖,我們前后花了10年時(shí)間”
2023-08-10 08:24 -
LK-99只是電阻很高的劣質(zhì)材料?北大等團(tuán)隊(duì)研究結(jié)果公布
2023-08-08 22:05 -
香港大學(xué)獲822.6毫克嫦娥五號(hào)月壤樣本
2023-08-08 14:12 香港 -
國(guó)產(chǎn)薄煤層采煤機(jī)打破世界紀(jì)錄
2023-08-08 07:45 科技前沿
相關(guān)推薦 -
“中國(guó)引領(lǐng),金磚國(guó)家在這方面將追平歐盟和G7” 評(píng)論 17以軍被曝強(qiáng)迫加沙平民作人盾,“就像玩具一樣” 評(píng)論 259以色列提以黎停火條件,美官員都看不下去 評(píng)論 181最后時(shí)刻逆轉(zhuǎn),摩爾多瓦以微弱優(yōu)勢(shì)贊成入歐 評(píng)論 246最新聞 Hot
-
“中國(guó)引領(lǐng),金磚國(guó)家在這方面將追平歐盟和G7”
-
“被騙兩次算我蠢,歐盟準(zhǔn)備好回?fù)簟?/a>
-
“蘇聯(lián)衛(wèi)星上天,美國(guó)才意識(shí)到科技競(jìng)爭(zhēng)要靠政府”
-
“中國(guó)正超越歐洲,成最大買(mǎi)家”
-
武契奇:只有普京懂我,他還跟我說(shuō)了這句話
-
印外長(zhǎng)稱:中印邊境問(wèn)題,達(dá)成協(xié)議
-
“若中國(guó)大陸武統(tǒng),全美國(guó)科技行業(yè)恐任其擺布”
-
以軍士兵自殺后被指“生前是殺人犯”,親屬喊冤:他心地善良
-
武契奇要見(jiàn)馮德萊恩去不了金磚:我對(duì)普京很誠(chéng)實(shí)
-
困于繁文縟節(jié),歐洲臨床試驗(yàn)落后中國(guó)
-
白宮:不予置評(píng)
-
以軍被曝強(qiáng)迫加沙平民作人盾,“就像玩具一樣”
-
以色列稱真主黨在醫(yī)院地下藏?cái)?shù)億現(xiàn)金和黃金,院長(zhǎng)駁斥
-
以色列宣布:破獲伊朗間諜大案
-
以色列提以黎停火條件,美官員都看不下去
-
“中老鐵路改變泰國(guó)榴蓮命運(yùn)”
-