-
馬斯克開(kāi)源Grok-1,3140億參數(shù)迄今最大
當(dāng)?shù)貢r(shí)間3月17日,特斯拉首席執(zhí)行官(CEO)馬斯克的AI創(chuàng)企xAI正式發(fā)布3140億參數(shù)的混合專(zhuān)家模型Grok-1。xAI官方網(wǎng)站稱(chēng),其遵照Apache 2.0協(xié)議開(kāi)放模型權(quán)重和架構(gòu)。
xAI官方網(wǎng)站截圖
據(jù)第一財(cái)經(jīng)報(bào)道,Grok-1參數(shù)量遠(yuǎn)超OpenAI GPT-3.5的1750億,是迄今參數(shù)量最大的開(kāi)源大語(yǔ)言模型。
17日,馬斯克還在社交平臺(tái)上發(fā)文對(duì)OpenAI進(jìn)行了嘲諷:“告訴我們更多關(guān)于OpenAI開(kāi)放部分的信息?!?
2023年11月,xAI官網(wǎng)發(fā)布文章,公布了Grok的詳細(xì)進(jìn)展。
文章稱(chēng),Grok是一款仿照《銀河系漫游指南》設(shè)計(jì)的AI,幾乎可以回答任何問(wèn)題,它甚至可以建議要問(wèn)什么問(wèn)題?!癎rok回答問(wèn)題時(shí)略帶機(jī)智和叛逆,所以如果你討厭幽默,請(qǐng)不要使用它”。
xAI官方網(wǎng)站截圖
文章介紹說(shuō),Grok的一個(gè)獨(dú)特且基本的優(yōu)勢(shì)是,它可以通過(guò)X平臺(tái)實(shí)時(shí)了解世界。它還將回答被其它大多數(shù)AI系統(tǒng)拒絕的尖銳問(wèn)題。
文章指出,Grok仍然是一個(gè)非常早期的測(cè)試版產(chǎn)品,是“我們?cè)?個(gè)月的訓(xùn)練中所能做到的最好產(chǎn)品,期望在您的幫助下每周都能快速改進(jìn)”。
文章表示,Grok-1的研發(fā)經(jīng)歷了四個(gè)月。期間,Grok-1經(jīng)歷了多次迭代?!靶紕?chuàng)立xAI后,我們訓(xùn)練了一個(gè)330億參數(shù)的LLM原型(Grok-0)。這個(gè)早期模型在標(biāo)準(zhǔn)LM測(cè)試基準(zhǔn)上接近LLaMA 2(70B)的能力,但只使用了一半的訓(xùn)練資源。在過(guò)去兩個(gè)月里,我們?cè)谀P偷耐评砗途幋a能力方面取得了顯著進(jìn)步,Grok-1終于誕生?!?
文章稱(chēng),這是一款功能更為強(qiáng)大的SOTA語(yǔ)言模型,在HumanEval編碼任務(wù)中達(dá)到了63.2%,在MMLU中達(dá)到了73%。
為了了解對(duì)Grok-1所做的性能改進(jìn),xAI使用了一些旨在衡量數(shù)學(xué)和推理能力的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)基準(zhǔn),對(duì)其進(jìn)行一系列評(píng)估。
在這些基準(zhǔn)測(cè)試中,Grok-1顯示出了強(qiáng)勁的性能,超過(guò)了其計(jì)算類(lèi)別中的所有其它模型,包括ChatGPT-3.5和Inflection-1。只有使用大量訓(xùn)練數(shù)據(jù)和計(jì)算資源訓(xùn)練的模型,例如GPT-4,才能超越它。“這展示了我們?cè)诟咝в?xùn)練LLM方面取得的快速進(jìn)展”。
同時(shí),文章也指出,由于這些基準(zhǔn)可以在網(wǎng)上找到,并且他們不能排除模型無(wú)意中進(jìn)行了相應(yīng)的訓(xùn)練。因此,他們?cè)谑占陻?shù)據(jù)集之后,根據(jù)去年5月底公布的2023年匈牙利全國(guó)高中數(shù)學(xué)期末考試題,對(duì)他們的模型(以及Claude-2和GPT-4模型)進(jìn)行了人工評(píng)分。結(jié)果,Grok以C級(jí)(59%)通過(guò)考試,Claude-2也取得了類(lèi)似的成績(jī)(55%),而GPT-4則以68%的成績(jī)獲得了B級(jí)。文章稱(chēng),他們沒(méi)有為應(yīng)對(duì)這個(gè)考試而特別準(zhǔn)備或調(diào)整模型。
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 房佶宜 
-
臺(tái)灣長(zhǎng)榮客機(jī)一外籍乘客試圖在廁所輕生
2024-03-18 10:37 -
“美國(guó)都動(dòng)用國(guó)家力量對(duì)付特朗普了,那能叫民主?”
2024-03-18 10:04 俄羅斯之聲 -
普京首度回應(yīng)納瓦利內(nèi)之死:美國(guó)監(jiān)獄沒(méi)死過(guò)人嗎?
2024-03-18 09:37 俄羅斯之聲 -
中企承建,孟加拉國(guó)這個(gè)石油大工程全面運(yùn)營(yíng)
2024-03-18 09:09 一帶一路 -
以總理:以軍或在幾周后進(jìn)攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇錄 -
俄總統(tǒng)選舉選票已統(tǒng)計(jì)60.01%,普京得票率為87.26%
2024-03-18 07:07 俄羅斯之聲 -
“波音遇到大麻煩了,但怎么解決,仍毫無(wú)頭緒”
2024-03-17 22:56 航空安全 -
馬克龍稱(chēng)將要求俄“奧運(yùn)停火”,扎哈羅娃:建議向中東沖突各方提出
2024-03-17 20:46 俄羅斯之聲 -
岸田文雄向日本國(guó)民道歉
2024-03-17 19:56 日本 -
斯里蘭卡逮捕21名印度漁民
2024-03-17 19:23 -
“幾乎沒(méi)男人了,人們像狗一樣當(dāng)街被抓去當(dāng)兵”
2024-03-17 19:10 烏克蘭之殤 -
拜登:兩個(gè)候選人,有一個(gè)太老了...
2024-03-17 17:33 美國(guó)政治 -
特朗普談移民:在我看來(lái),某些情況下他們不是人
2024-03-17 16:37 特朗普 -
首次!朝中社這樣稱(chēng)呼金正恩女兒
2024-03-17 16:30 朝鮮現(xiàn)狀 -
威爾士工黨選出新任黨魁,“歐洲將產(chǎn)生首位黑人領(lǐng)導(dǎo)人”
2024-03-17 16:04 不列顛 -
他再放話(huà):將對(duì)中企在墨西哥生產(chǎn)汽車(chē)征收100%關(guān)稅
2024-03-17 14:58 美國(guó)大選 -
馬克龍?jiān)偬崤杀?,她附和上?/a>
2024-03-17 14:45 烏克蘭之殤 -
“美國(guó)警告歐盟:若重啟對(duì)美訴訟,別怪我…”
2024-03-17 14:34 歐洲亂局 -
“我從小就被教育要討厭中國(guó)”
2024-03-17 11:40 -
特朗普:若我敗選,對(duì)美國(guó)是場(chǎng)“大屠殺”
2024-03-17 10:11 美國(guó)政治
相關(guān)推薦 -
伊朗首都傳出巨大爆炸聲,以色列稱(chēng)已發(fā)動(dòng)精確打擊 評(píng)論 45目睹這些場(chǎng)景,良心不會(huì)痛嗎 評(píng)論 195“金磚為什么火?因?yàn)闆](méi)走西方拉幫結(jié)派的老路” 評(píng)論 54IMF對(duì)華講公道話(huà),美媒酸了 評(píng)論 73美國(guó)發(fā)布首份AI備忘錄,“得防中國(guó)戰(zhàn)略突襲” 評(píng)論 109最新聞 Hot
-
伊朗幾個(gè)軍事基地遭以軍報(bào)復(fù)性襲擊
-
目睹這些場(chǎng)景,良心不會(huì)痛嗎
-
“金磚為什么火?因?yàn)闆](méi)走西方拉幫結(jié)派的老路”
-
“公用火力發(fā)電比例高于中國(guó),美領(lǐng)導(dǎo)地位?!?/a>
-
他倆定期“秘密對(duì)話(huà)”?克宮回應(yīng)
-
以色列襲擊黎巴嫩南部,致3名記者死亡
-
美衛(wèi)星解體恐殃及中國(guó),“很難評(píng)估有多糟糕”
-
怕特朗普攪局,歐盟擬加碼“長(zhǎng)期維持”對(duì)俄制裁
-
“伊朗已下令準(zhǔn)備開(kāi)戰(zhàn),考慮發(fā)射1000枚導(dǎo)彈回?fù)簟?/a>
-
英國(guó)國(guó)王承認(rèn)了,但也沒(méi)有提賠償
-
美國(guó)發(fā)布首份AI備忘錄,“得防中國(guó)戰(zhàn)略突襲”
-
“英國(guó)軍情五處完全在胡說(shuō)八道”
-
普京回應(yīng)“朝軍援俄”傳聞
-
被批“中國(guó)有支票美國(guó)有清單”,他又畫(huà)餅忽悠…
-
又嗆上了:野蠻人也好意思自詡捍衛(wèi)文明…
-
沒(méi)中國(guó)能成嗎?澳大利亞部長(zhǎng)這么說(shuō)
-