-
阿里云開源通義千問140億參數(shù)模型
(編輯/呂棟)
9月25日,阿里云開源通義千問140億參數(shù)模型Qwen-14B及其對話模型Qwen-14B-Chat,免費(fèi)可商用。據(jù)介紹,Qwen-14B在多個權(quán)威評測中超越同等規(guī)模模型,部分指標(biāo)接近Llama2-70B。就在一個多月前,阿里云開源70億參數(shù)模型Qwen-7B等,下載量已破百萬。
Qwen-14B是一款支持多種語言的高性能開源模型,相比同類模型使用了更多的高質(zhì)量數(shù)據(jù),整體訓(xùn)練數(shù)據(jù)超過3萬億Token,使得模型具備更強(qiáng)大的推理、認(rèn)知、規(guī)劃和記憶能力。Qwen-14B最大支持8k的上下文窗口長度。Qwen-14B-Chat是在基座模型上經(jīng)過精細(xì)SFT得到的對話模型。借助基座模型性能,Qwen-14B-Chat生成內(nèi)容的準(zhǔn)確度大幅提升。
Qwen-14B在十二個權(quán)威測評中全方位超越同規(guī)模SOTA大模型
阿里云表示,Qwen擁有出色的工具調(diào)用能力,能讓開發(fā)者更快地構(gòu)建基于Qwen的Agent(智能體)。開發(fā)者可用簡單指令教會Qwen使用復(fù)雜工具,比如使用Code Interpreter工具執(zhí)行Python代碼以進(jìn)行復(fù)雜的數(shù)學(xué)計(jì)算、數(shù)據(jù)分析、圖表繪制等;還能開發(fā)具有多文檔問答、長文寫作等能力的“高級數(shù)字助理”。
百億以內(nèi)參數(shù)級別大語言模型是目前開發(fā)者進(jìn)行應(yīng)用開發(fā)和迭代的主流選擇。阿里云透露,Qwen-14B進(jìn)一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12個權(quán)威測評中取得最優(yōu)成績,超越所有測評中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不遜色。與此同時,Qwen-7B也全新升級,核心指標(biāo)最高提升22.5%。
Qwen-14B性能超越同尺寸模型
目前,開源是國產(chǎn)大模型的主流選擇?!吨袊斯ぶ悄艽竽P偷貓D研究報告》顯示,超過一半國內(nèi)發(fā)布的大模型已實(shí)現(xiàn)開源,并朝著通用類大模型和垂直領(lǐng)域的專業(yè)類大模型兩個方向加速迭代。除了通義千問外,由王小川創(chuàng)立的人工智能創(chuàng)新科技公司百川智能也在一個月間將通用類開源模型參數(shù)規(guī)模翻倍。其在今年6月推出70億規(guī)模參數(shù)的Baichuan-7B開源模型后,又在7月開源擁有130億的參數(shù)規(guī)模的Baichuan-13B模型。
專業(yè)類大模型則受行業(yè)數(shù)據(jù)、適用程度等制約,開源模型參數(shù)規(guī)模差異較大。在搜索場景,知乎已于今年5月開源有100億參數(shù)規(guī)模的CPM-Bee 10b。而在金融行業(yè),度小滿在9月才開源擁有70B參數(shù)量級和上下文長度可達(dá)8k以上的金融大模型“軒轅70B”。
有業(yè)內(nèi)人士指出,在一些垂直領(lǐng)域并不需要參數(shù)量很高、通用能力很強(qiáng)的模型,幾十到百億左右參數(shù)規(guī)模的模型,結(jié)合垂直領(lǐng)域數(shù)據(jù),就可以發(fā)揮很好的價值。對行業(yè)而言,開源大模型可以幫助用戶簡化模型訓(xùn)練和部署的過程,用戶不必從頭訓(xùn)練,只需下載預(yù)訓(xùn)練好的模型并進(jìn)行微調(diào),就可快速構(gòu)建高質(zhì)量模型。這正是開源大模型推動各行業(yè)發(fā)展的底層因素。
阿里云CTO周靖人表示,阿里云將持續(xù)擁抱開源開放,推動中國大模型生態(tài)建設(shè)。阿里云還牽頭建設(shè)了中國最大的AI模型開源社區(qū)魔搭ModelScope。過去兩個月內(nèi),魔搭社區(qū)的模型下載量從4500萬飆升到8500萬,增幅接近100%。
- 責(zé)任編輯: 林鈴錦 
-
?余承東:鴻蒙原生應(yīng)用全面啟動
2023-09-26 13:23 觀網(wǎng)財經(jīng)-科創(chuàng) -
我國科研人員研制出仿生低碳新型建筑材料
2023-09-24 14:17 科技前沿 -
“AI使目前形勢變得更加復(fù)雜,中美必須開展對話”
2023-09-23 15:37 中美關(guān)系 -
我國發(fā)起的蛋白質(zhì)組大科學(xué)計(jì)劃國際總部成立
2023-09-23 14:45 醫(yī)學(xué) -
清華全球碳中和年度進(jìn)展報告:中國得分全球第五
2023-09-23 08:10 綠水青山就是金山銀山 -
泰國與華為合作:共同開發(fā)泰國盤古氣象大模型
2023-09-22 11:30 觀網(wǎng)財經(jīng)-科創(chuàng) -
諾獎劍指AI?谷歌蛋白質(zhì)結(jié)構(gòu)預(yù)測模型獲2023年拉斯克獎
2023-09-22 09:22 醫(yī)學(xué) -
我國科學(xué)家制備出全分散微球材料,可從廢水中回收染料
2023-09-22 07:21 科技前沿 -
國產(chǎn)貓用疫苗實(shí)現(xiàn)零的突破
2023-09-22 07:09 醫(yī)學(xué) -
吉林一號高分04B星發(fā)射失利
2023-09-21 20:16 航空航天 -
中國空間站第四次太空授課活動取得圓滿成功
2023-09-21 16:49 中西教育 -
“天宮課堂”第四課開課
2023-09-21 15:45 航空航天 -
國內(nèi)首所空天信息大學(xué)獲批籌建!落地濟(jì)南
2023-09-21 14:18 中西教育 -
就在今天 ,百城市長聚在一起探討大模型如何落地城市
2023-09-20 18:54 -
全球最大射電望遠(yuǎn)鏡陣列首臺中頻天線正式吊裝
2023-09-20 15:44 科技前沿 -
我國去年研發(fā)經(jīng)費(fèi)投入破3萬億,電子信息制造業(yè)超4千億
2023-09-20 08:43 觀網(wǎng)財經(jīng)-科創(chuàng) -
國際奧委會CITO:杭州亞運(yùn)會用云計(jì)算創(chuàng)造歷史
2023-09-19 18:17 亞運(yùn)經(jīng)濟(jì) -
去年長三角一市三省研發(fā)經(jīng)費(fèi)9386億元,占全國30.5%
2023-09-19 17:37 -
我國科研團(tuán)隊(duì)為高密度大容量存儲器件提供新思路
2023-09-19 07:44 科技前沿 -
我國科學(xué)家提出DNA數(shù)字存儲糾錯新算法
2023-09-19 07:39 科技前沿
相關(guān)推薦 -
十四屆全國人大三次會議閉幕 評論 0美股暴跌,華爾街被特朗普嚇壞了… 評論 236最新聞 Hot
-
佩斯科夫:別急著戴“玫瑰色眼鏡”看美國,必須…
-
“被中國嚇到,特朗普憋了一招”
-
韓國造船業(yè)“都想要”:可美國要是卡中國厚鋼咋辦…
-
果然,美烏“各占鰲頭”
-
14年了,日本還有2萬多3·11災(zāi)民在“避難”
-
特朗普“護(hù)犢子”,歐盟決定對蘋果、Meta“淺罰一下”
-
突發(fā),杜特爾特被拘
-
這一項(xiàng),日本要輸給中國了
-
美烏談判前夕,莫斯科再遭烏無人機(jī)襲擊:2死18傷
-
“夾在中美兩頭大象中間”,加拿大農(nóng)民“喊疼”
-
美方今日將舉行聽證會,炒作中國“成熟”芯片
-
馬斯克:這事兒,烏克蘭干的
-
魯比奧直說了:烏克蘭必須割讓領(lǐng)土
-
急赴美“求放過”,日本談了個寂寞…
-
特斯拉市值一夜蒸發(fā)近萬億元,馬斯克:好難啊
-
杜特爾特回應(yīng):接受命運(yùn),但我無罪
-