-
中國高校為何難出大模型?下一代AI仍依賴基礎科研的突破
ChatGPT誕生至今已過去9個多月,大模型在產(chǎn)業(yè)界和學界的最新進展有哪些?
在8月24日舉行的2023世界人工智能大會(WAIC)青年優(yōu)秀論文獎頒獎儀式暨青年科學家論壇上,談到大模型為何難以首先誕生在高校,同濟大學計算機系副主任何良華教授認為,學界之所以很難出現(xiàn)ChatGPT這樣的模型,主要是算力和數(shù)據(jù)的問題。
何良華說,大模型非常吃算力,高校也難以去購買大量的算力。而有了算力之后,要把參數(shù)訓練得比較成熟,需要海量的數(shù)據(jù),但是學界是拿不到這么多數(shù)據(jù)的。除了這兩個問題,還和學界自身的需求有關。“我們都期望在理論上做一些創(chuàng)新。比如我的學生如果跟我說現(xiàn)在需要幾千張卡(算力)來做一個事情,我所有的經(jīng)費給他也不夠,課題也難以立項。因為它既不是應用,又不是理論,找不到這樣一筆經(jīng)費,研究只能中斷?!?
和團隊率先在國內(nèi)發(fā)布了具備 ChatGPT 能力語言模型MOSS的復旦大學計算機學院教授邱錫鵬表示,大模型更頂尖的研究機構在業(yè)界,這是一個不可回避的事實。從DeepMind再到OpenAI,都是如此。美國的很多著名高校,從研究實力上看已經(jīng)落后于這些頂級的研究院了。
邱錫鵬解釋,學校和研究院的差異還是在于自由的探索。對于很多研究院來講,長期的目標還是奔著盈利,包括國內(nèi)很多企業(yè)之前也建了很多研究院,過不了幾年就發(fā)現(xiàn)可能面臨著盈利、變現(xiàn)的壓力,導致做的研究不是特別純粹。在他看來,OpenAI的團隊是一個以前沒有出現(xiàn)過的形態(tài),這種制度設計非常好,能使團隊既能堅持本心做研究,同時也沒有那么大的壓力。
“在學校的話還是要發(fā)揮學校的長處,做的研究沒有太多的盈利要求或面臨短期變現(xiàn)的壓力,也可以思考得更長遠。特別在如今高算力要求的情況下,在學術界和產(chǎn)業(yè)界的研究院之間,還是可以發(fā)揮學術界的優(yōu)勢?!彼f。
上??萍即髮W生物醫(yī)學工程學院常任助理教授錢學駿則認為,工業(yè)界做出的很多有影響力的工作,可能不是學界追求的主要目標?!皩W界可能更想(發(fā)明)一種思路上的創(chuàng)新(新想法、新應用),而不是通過大算力、大數(shù)據(jù),各方面的優(yōu)勢集中做出來了,對學界來說這些也不夠有優(yōu)勢,無法獲得大量數(shù)據(jù)?!?
華為諾亞方舟實驗室AI研究員謝恩澤說,怎么構建高質(zhì)量的數(shù)據(jù)集,可能是對于大模型能力一個很重要的補充。訓練大模型本身來說,用多大參數(shù)的模型、配多大的數(shù)據(jù)量,以及用多長時間,這些協(xié)同也是很重要的。而這些只有在少數(shù)幾個大廠才有機會接觸到這些資源。
今年以來,生成式人工智能的發(fā)展成為地方政府和科技大廠瞄準的關鍵詞??萍疾咳斯ぶ悄馨l(fā)展研究中心5月底發(fā)布的《中國人工智能大模型地圖研究報告》顯示,當前國內(nèi)10億參數(shù)規(guī)模以上的大模型已發(fā)布79個。
在不久前的浦江基礎科學發(fā)展論壇上,清華大學人工智能研究院常務副院長孫茂松教授對第一財經(jīng)表示,我國乃至全球發(fā)展大模型最終的突破關鍵,是基礎科學的突破。
他說,對于大模型,當前的問題在于并不清楚OpenAI的機理是如何運作的,就連推出ChatGPT的OpenAI公司首席執(zhí)行官薩姆·奧特曼也表示,雖然做出了GPT但也不清楚發(fā)生的原理,“實際上就是對這個機理還不清楚”。他認為,現(xiàn)有的人工智能模型已經(jīng)能做到說話通順,但這個問題的內(nèi)在實現(xiàn)邏輯仍然十分復雜。如果弄清楚了大模型里的規(guī)律、ChatGPT背后的機理,就有可能克服現(xiàn)有人工智能大模型的局限性,建立下一代人工智能的理論和模型。
- 原標題:中國高校為何難出大模型?下一代AI仍依賴基礎科研的突破
- 責任編輯: 連政 
-
水稻并非在中國單次起源,但80%基因來自中國
2023-08-23 06:58 -
印度“月船3號”月球探測器與“月船2號”軌道器建立通信連接
2023-08-21 22:05 航空航天 -
大藤峽工程最后一臺機組并網(wǎng)發(fā)電
2023-08-21 20:05 超級工程 -
印度公布登月著陸時間及具體步驟
2023-08-20 21:23 航空航天 -
俄“月球-25 ”號探測器與月球表面發(fā)生碰撞:已失聯(lián)
2023-08-20 17:09 航空航天 -
我國首個大型巡天空間望遠鏡正在研制
2023-08-19 15:16 -
國際首套!中國300兆瓦先進壓縮空氣儲能系統(tǒng)膨脹機順利下線
2023-08-17 15:37 能源戰(zhàn)略 -
英特爾顯卡成亞運會官方指定圖形處理器
2023-08-17 15:28 亞運經(jīng)濟 -
我國二氧化碳精準合成己糖技術取得新進展
2023-08-16 22:37 科技前沿 -
我科學家成功打印出“金屬力學超材料”
2023-08-16 07:51 科技前沿 -
天津大學成功研發(fā)5.5G/6G“技術心臟”
2023-08-16 06:54 5G -
吳艷華總師率團出席俄羅斯月球-25號探測器發(fā)射活動
2023-08-15 16:04 航空航天 -
三大運營商上半年營收萬億,云業(yè)務成增長亮點
2023-08-14 00:28 觀網(wǎng)財經(jīng)-科創(chuàng) -
全球人工智能發(fā)展,可能還會走上核武競爭的老路
2023-08-13 08:33 這就是中國 -
如果一家公司或者一個人,利用人工智能把整個世界毀滅……
2023-08-12 09:45 人工智能 -
碧桂園已籌備債務重整 近期啟動相關程序
2023-08-11 08:17 觀網(wǎng)財經(jīng)-房產(chǎn) -
“為了這組高清圖,我們前后花了10年時間”
2023-08-10 08:24 -
LK-99只是電阻很高的劣質(zhì)材料?北大等團隊研究結果公布
2023-08-08 22:05 -
香港大學獲822.6毫克嫦娥五號月壤樣本
2023-08-08 14:12 香港 -
國產(chǎn)薄煤層采煤機打破世界紀錄
2023-08-08 07:45 科技前沿
相關推薦 -
“中國引領,金磚國家在這方面將追平歐盟和G7” 評論 17“被騙兩次算我蠢,歐盟準備好回擊” 評論 159以軍被曝強迫加沙平民作人盾,“就像玩具一樣” 評論 259以色列提以黎?;饤l件,美官員都看不下去 評論 181最新聞 Hot
-
“中國引領,金磚國家在這方面將追平歐盟和G7”
-
“被騙兩次算我蠢,歐盟準備好回擊”
-
“蘇聯(lián)衛(wèi)星上天,美國才意識到科技競爭要靠政府”
-
“中國正超越歐洲,成最大買家”
-
武契奇:只有普京懂我,他還跟我說了這句話
-
印外長稱:中印邊境問題,達成協(xié)議
-
“若中國大陸武統(tǒng),全美國科技行業(yè)恐任其擺布”
-
以軍士兵自殺后被指“生前是殺人犯”,親屬喊冤:他心地善良
-
武契奇要見馮德萊恩去不了金磚:我對普京很誠實
-
困于繁文縟節(jié),歐洲臨床試驗落后中國
-
白宮:不予置評
-
以軍被曝強迫加沙平民作人盾,“就像玩具一樣”
-
以色列稱真主黨在醫(yī)院地下藏數(shù)億現(xiàn)金和黃金,院長駁斥
-
以色列宣布:破獲伊朗間諜大案
-
以色列提以黎?;饤l件,美官員都看不下去
-
“中老鐵路改變泰國榴蓮命運”
-