-
阿里云開源通義千問140億參數模型
(編輯/呂棟)
9月25日,阿里云開源通義千問140億參數模型Qwen-14B及其對話模型Qwen-14B-Chat,免費可商用。據介紹,Qwen-14B在多個權威評測中超越同等規(guī)模模型,部分指標接近Llama2-70B。就在一個多月前,阿里云開源70億參數模型Qwen-7B等,下載量已破百萬。
Qwen-14B是一款支持多種語言的高性能開源模型,相比同類模型使用了更多的高質量數據,整體訓練數據超過3萬億Token,使得模型具備更強大的推理、認知、規(guī)劃和記憶能力。Qwen-14B最大支持8k的上下文窗口長度。Qwen-14B-Chat是在基座模型上經過精細SFT得到的對話模型。借助基座模型性能,Qwen-14B-Chat生成內容的準確度大幅提升。
Qwen-14B在十二個權威測評中全方位超越同規(guī)模SOTA大模型
阿里云表示,Qwen擁有出色的工具調用能力,能讓開發(fā)者更快地構建基于Qwen的Agent(智能體)。開發(fā)者可用簡單指令教會Qwen使用復雜工具,比如使用Code Interpreter工具執(zhí)行Python代碼以進行復雜的數學計算、數據分析、圖表繪制等;還能開發(fā)具有多文檔問答、長文寫作等能力的“高級數字助理”。
百億以內參數級別大語言模型是目前開發(fā)者進行應用開發(fā)和迭代的主流選擇。阿里云透露,Qwen-14B進一步提高了小尺寸模型的性能上限,在MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench等12個權威測評中取得最優(yōu)成績,超越所有測評中的SOTA(State-Of-The-Art)大模型,也全面超越Llama-2-13B,比起Llama 2的34B、70B模型也并不遜色。與此同時,Qwen-7B也全新升級,核心指標最高提升22.5%。
Qwen-14B性能超越同尺寸模型
目前,開源是國產大模型的主流選擇?!吨袊斯ぶ悄艽竽P偷貓D研究報告》顯示,超過一半國內發(fā)布的大模型已實現開源,并朝著通用類大模型和垂直領域的專業(yè)類大模型兩個方向加速迭代。除了通義千問外,由王小川創(chuàng)立的人工智能創(chuàng)新科技公司百川智能也在一個月間將通用類開源模型參數規(guī)模翻倍。其在今年6月推出70億規(guī)模參數的Baichuan-7B開源模型后,又在7月開源擁有130億的參數規(guī)模的Baichuan-13B模型。
專業(yè)類大模型則受行業(yè)數據、適用程度等制約,開源模型參數規(guī)模差異較大。在搜索場景,知乎已于今年5月開源有100億參數規(guī)模的CPM-Bee 10b。而在金融行業(yè),度小滿在9月才開源擁有70B參數量級和上下文長度可達8k以上的金融大模型“軒轅70B”。
有業(yè)內人士指出,在一些垂直領域并不需要參數量很高、通用能力很強的模型,幾十到百億左右參數規(guī)模的模型,結合垂直領域數據,就可以發(fā)揮很好的價值。對行業(yè)而言,開源大模型可以幫助用戶簡化模型訓練和部署的過程,用戶不必從頭訓練,只需下載預訓練好的模型并進行微調,就可快速構建高質量模型。這正是開源大模型推動各行業(yè)發(fā)展的底層因素。
阿里云CTO周靖人表示,阿里云將持續(xù)擁抱開源開放,推動中國大模型生態(tài)建設。阿里云還牽頭建設了中國最大的AI模型開源社區(qū)魔搭ModelScope。過去兩個月內,魔搭社區(qū)的模型下載量從4500萬飆升到8500萬,增幅接近100%。
- 責任編輯: 林鈴錦 
-
?余承東:鴻蒙原生應用全面啟動
2023-09-26 13:23 觀網財經-科創(chuàng) -
我國科研人員研制出仿生低碳新型建筑材料
2023-09-24 14:17 科技前沿 -
“AI使目前形勢變得更加復雜,中美必須開展對話”
2023-09-23 15:37 中美關系 -
我國發(fā)起的蛋白質組大科學計劃國際總部成立
2023-09-23 14:45 醫(yī)學 -
清華全球碳中和年度進展報告:中國得分全球第五
2023-09-23 08:10 綠水青山就是金山銀山 -
泰國與華為合作:共同開發(fā)泰國盤古氣象大模型
2023-09-22 11:30 觀網財經-科創(chuàng) -
諾獎劍指AI?谷歌蛋白質結構預測模型獲2023年拉斯克獎
2023-09-22 09:22 醫(yī)學 -
我國科學家制備出全分散微球材料,可從廢水中回收染料
2023-09-22 07:21 科技前沿 -
國產貓用疫苗實現零的突破
2023-09-22 07:09 醫(yī)學 -
吉林一號高分04B星發(fā)射失利
2023-09-21 20:16 航空航天 -
中國空間站第四次太空授課活動取得圓滿成功
2023-09-21 16:49 中西教育 -
“天宮課堂”第四課開課
2023-09-21 15:45 航空航天 -
國內首所空天信息大學獲批籌建!落地濟南
2023-09-21 14:18 中西教育 -
就在今天 ,百城市長聚在一起探討大模型如何落地城市
2023-09-20 18:54 -
全球最大射電望遠鏡陣列首臺中頻天線正式吊裝
2023-09-20 15:44 科技前沿 -
我國去年研發(fā)經費投入破3萬億,電子信息制造業(yè)超4千億
2023-09-20 08:43 觀網財經-科創(chuàng) -
國際奧委會CITO:杭州亞運會用云計算創(chuàng)造歷史
2023-09-19 18:17 亞運經濟 -
去年長三角一市三省研發(fā)經費9386億元,占全國30.5%
2023-09-19 17:37 -
我國科研團隊為高密度大容量存儲器件提供新思路
2023-09-19 07:44 科技前沿 -
我國科學家提出DNA數字存儲糾錯新算法
2023-09-19 07:39 科技前沿
相關推薦 -
“中國引領,金磚國家在這方面將追平歐盟和G7” 評論 17“被騙兩次算我蠢,歐盟準備好回擊” 評論 159以軍被曝強迫加沙平民作人盾,“就像玩具一樣” 評論 259以色列提以黎?;饤l件,美官員都看不下去 評論 181最后時刻逆轉,摩爾多瓦以微弱優(yōu)勢贊成入歐 評論 246最新聞 Hot
-
“中國引領,金磚國家在這方面將追平歐盟和G7”
-
“被騙兩次算我蠢,歐盟準備好回擊”
-
“蘇聯衛(wèi)星上天,美國才意識到科技競爭要靠政府”
-
“中國正超越歐洲,成最大買家”
-
武契奇:只有普京懂我,他還跟我說了這句話
-
印外長稱:中印邊境問題,達成協議
-
“若中國大陸武統,全美國科技行業(yè)恐任其擺布”
-
以軍士兵自殺后被指“生前是殺人犯”,親屬喊冤:他心地善良
-
武契奇要見馮德萊恩去不了金磚:我對普京很誠實
-
困于繁文縟節(jié),歐洲臨床試驗落后中國
-
白宮:不予置評
-
以軍被曝強迫加沙平民作人盾,“就像玩具一樣”
-
以色列稱真主黨在醫(yī)院地下藏數億現金和黃金,院長駁斥
-
以色列宣布:破獲伊朗間諜大案
-
以色列提以黎?;饤l件,美官員都看不下去
-
“中老鐵路改變泰國榴蓮命運”
-