-
馬斯克開源Grok-1,3140億參數(shù)迄今最大
當?shù)貢r間3月17日,特斯拉首席執(zhí)行官(CEO)馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數(shù)的混合專家模型Grok-1。xAI官方網(wǎng)站稱,其遵照Apache 2.0協(xié)議開放模型權(quán)重和架構(gòu)。
xAI官方網(wǎng)站截圖
據(jù)第一財經(jīng)報道,Grok-1參數(shù)量遠超OpenAI GPT-3.5的1750億,是迄今參數(shù)量最大的開源大語言模型。
17日,馬斯克還在社交平臺上發(fā)文對OpenAI進行了嘲諷:“告訴我們更多關(guān)于OpenAI開放部分的信息。”
2023年11月,xAI官網(wǎng)發(fā)布文章,公布了Grok的詳細進展。
文章稱,Grok是一款仿照《銀河系漫游指南》設計的AI,幾乎可以回答任何問題,它甚至可以建議要問什么問題?!癎rok回答問題時略帶機智和叛逆,所以如果你討厭幽默,請不要使用它”。
xAI官方網(wǎng)站截圖
文章介紹說,Grok的一個獨特且基本的優(yōu)勢是,它可以通過X平臺實時了解世界。它還將回答被其它大多數(shù)AI系統(tǒng)拒絕的尖銳問題。
文章指出,Grok仍然是一個非常早期的測試版產(chǎn)品,是“我們在2個月的訓練中所能做到的最好產(chǎn)品,期望在您的幫助下每周都能快速改進”。
文章表示,Grok-1的研發(fā)經(jīng)歷了四個月。期間,Grok-1經(jīng)歷了多次迭代。“宣布創(chuàng)立xAI后,我們訓練了一個330億參數(shù)的LLM原型(Grok-0)。這個早期模型在標準LM測試基準上接近LLaMA 2(70B)的能力,但只使用了一半的訓練資源。在過去兩個月里,我們在模型的推理和編碼能力方面取得了顯著進步,Grok-1終于誕生?!?
文章稱,這是一款功能更為強大的SOTA語言模型,在HumanEval編碼任務中達到了63.2%,在MMLU中達到了73%。
為了了解對Grok-1所做的性能改進,xAI使用了一些旨在衡量數(shù)學和推理能力的標準機器學習基準,對其進行一系列評估。
在這些基準測試中,Grok-1顯示出了強勁的性能,超過了其計算類別中的所有其它模型,包括ChatGPT-3.5和Inflection-1。只有使用大量訓練數(shù)據(jù)和計算資源訓練的模型,例如GPT-4,才能超越它?!斑@展示了我們在高效訓練LLM方面取得的快速進展”。
同時,文章也指出,由于這些基準可以在網(wǎng)上找到,并且他們不能排除模型無意中進行了相應的訓練。因此,他們在收集完數(shù)據(jù)集之后,根據(jù)去年5月底公布的2023年匈牙利全國高中數(shù)學期末考試題,對他們的模型(以及Claude-2和GPT-4模型)進行了人工評分。結(jié)果,Grok以C級(59%)通過考試,Claude-2也取得了類似的成績(55%),而GPT-4則以68%的成績獲得了B級。文章稱,他們沒有為應對這個考試而特別準備或調(diào)整模型。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責任編輯: 房佶宜 
-
臺灣長榮客機一外籍乘客試圖在廁所輕生
2024-03-18 10:37 -
“美國都動用國家力量對付特朗普了,那能叫民主?”
2024-03-18 10:04 俄羅斯之聲 -
普京首度回應納瓦利內(nèi)之死:美國監(jiān)獄沒死過人嗎?
2024-03-18 09:37 俄羅斯之聲 -
中企承建,孟加拉國這個石油大工程全面運營
2024-03-18 09:09 一帶一路 -
以總理:以軍或在幾周后進攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇錄 -
俄總統(tǒng)選舉選票已統(tǒng)計60.01%,普京得票率為87.26%
2024-03-18 07:07 俄羅斯之聲 -
“波音遇到大麻煩了,但怎么解決,仍毫無頭緒”
2024-03-17 22:56 航空安全 -
馬克龍稱將要求俄“奧運停火”,扎哈羅娃:建議向中東沖突各方提出
2024-03-17 20:46 俄羅斯之聲 -
岸田文雄向日本國民道歉
2024-03-17 19:56 日本 -
斯里蘭卡逮捕21名印度漁民
2024-03-17 19:23 -
“幾乎沒男人了,人們像狗一樣當街被抓去當兵”
2024-03-17 19:10 烏克蘭之殤 -
拜登:兩個候選人,有一個太老了...
2024-03-17 17:33 美國政治 -
特朗普談移民:在我看來,某些情況下他們不是人
2024-03-17 16:37 特朗普 -
首次!朝中社這樣稱呼金正恩女兒
2024-03-17 16:30 朝鮮現(xiàn)狀 -
威爾士工黨選出新任黨魁,“歐洲將產(chǎn)生首位黑人領導人”
2024-03-17 16:04 不列顛 -
他再放話:將對中企在墨西哥生產(chǎn)汽車征收100%關(guān)稅
2024-03-17 14:58 美國大選 -
馬克龍再提派兵,她附和上了
2024-03-17 14:45 烏克蘭之殤 -
“美國警告歐盟:若重啟對美訴訟,別怪我…”
2024-03-17 14:34 歐洲亂局 -
“我從小就被教育要討厭中國”
2024-03-17 11:40 -
特朗普:若我敗選,對美國是場“大屠殺”
2024-03-17 10:11 美國政治
相關(guān)推薦 -
目睹這些場景,良心不會痛嗎 評論 195IMF對華講公道話,美媒酸了 評論 73最新聞 Hot
-
伊朗幾個軍事基地遭以軍報復性襲擊
-
目睹這些場景,良心不會痛嗎
-
“金磚為什么火?因為沒走西方拉幫結(jié)派的老路”
-
“公用火力發(fā)電比例高于中國,美領導地位危”
-
他倆定期“秘密對話”?克宮回應
-
以色列襲擊黎巴嫩南部,致3名記者死亡
-
美衛(wèi)星解體恐殃及中國,“很難評估有多糟糕”
-
怕特朗普攪局,歐盟擬加碼“長期維持”對俄制裁
-
“伊朗已下令準備開戰(zhàn),考慮發(fā)射1000枚導彈回擊”
-
英國國王承認了,但也沒有提賠償
-
美國發(fā)布首份AI備忘錄,“得防中國戰(zhàn)略突襲”
-
“英國軍情五處完全在胡說八道”
-
普京回應“朝軍援俄”傳聞
-
被批“中國有支票美國有清單”,他又畫餅忽悠…
-
又嗆上了:野蠻人也好意思自詡捍衛(wèi)文明…
-
沒中國能成嗎?澳大利亞部長這么說
-