觀察員
-
和大模型語(yǔ)音聊天視頻通話(huà)？Qwen2.5-Omni開(kāi)源
3月27日，通義千問(wèn)Qwen系列中的全新多模態(tài)大模型Qwen2.5-Omni宣布開(kāi)源。
Qwen2.5-Omni作為通義系列模型中首個(gè)端到端全模態(tài)大模型，可以同時(shí)處理包括文本、圖像、音頻和視頻等多種輸入，并實(shí)時(shí)合成輸出文本與自然語(yǔ)音。
這意味著，用戶(hù)可以和Qwen進(jìn)行語(yǔ)音聊天和視頻通話(huà)，有網(wǎng)友對(duì)此表示強(qiáng)烈欣喜。
事實(shí)上，在一系列同等規(guī)模的單模態(tài)模型權(quán)威基準(zhǔn)測(cè)試中，Qwen2.5-Omni在語(yǔ)音生成測(cè)評(píng)分?jǐn)?shù)上達(dá)到了與人類(lèi)持平的能力，這為該模型在語(yǔ)音和視頻通話(huà)的可行性上提供了數(shù)據(jù)層面的支撐。
在具體技術(shù)上，Qwen2.5-Omni采用了通義團(tuán)隊(duì)全新首創(chuàng)的Thinker-Talker雙核架構(gòu)、Position Embedding融合音視頻技術(shù)、位置編碼算法TMRoPE（Time-aligned Multimodal RoPE）。
雙核架構(gòu)Thinker-Talker讓Qwen2.5-Omni擁有了人類(lèi)的“大腦”和“發(fā)聲器”。Thinker負(fù)責(zé)處理和理解用戶(hù)輸入的內(nèi)容，Talker則輸出相應(yīng)的語(yǔ)音標(biāo)記。通過(guò)兩者的配合完成了端到端的統(tǒng)一模型架構(gòu)，將實(shí)時(shí)語(yǔ)義理解與語(yǔ)音生成形成協(xié)同。
TMRoPE則通過(guò)時(shí)間軸對(duì)齊實(shí)現(xiàn)視頻與音頻輸入的精準(zhǔn)同步，使得模型能夠準(zhǔn)確地捕捉到不同模態(tài)數(shù)據(jù)在時(shí)間維度上的對(duì)應(yīng)關(guān)系，從而為生成連貫、準(zhǔn)確的內(nèi)容。
值得注意的是，Qwen2.5-Omni以7B的小尺寸讓全模態(tài)大模型在產(chǎn)業(yè)上的廣泛應(yīng)用成為可能。用戶(hù)在手機(jī)上，也能輕松部署和應(yīng)用Qwen2.5-Omni模型。
目前，開(kāi)發(fā)者和企業(yè)可免費(fèi)下載商用Qwen2.5-Omni。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
標(biāo)簽 Qwen- 責(zé)任編輯: 張睿佳
-
-
中國(guó)AI+！自主研發(fā)船體清潔機(jī)器人亮相全球
2025-03-27 13:09 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
-
經(jīng)歷了“不平凡”的一年，農(nóng)夫山泉業(yè)績(jī)挺住了
2025-03-26 22:03 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
凈利177億，但快手慢下來(lái)了
2025-03-26 21:46 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
AI與國(guó)運(yùn)：中華文明將引領(lǐng)AI時(shí)代
2025-03-26 21:41 -
兩件“國(guó)之重器”，同一個(gè)幕后功臣！
2025-03-26 21:38 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
-
-
減持兩家虧損企業(yè)，螞蟻瘦身入賬7.75億元
2025-03-26 17:58 -
菜刀變鐮刀？張小泉大漲后宣布控股股東預(yù)重整
2025-03-26 16:52 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
騰訊新游定檔，或成端游新玩法“大三元”格局
2025-03-26 16:47 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
-
“起大早趕晚集”的谷歌大模型，這次真的“遙遙領(lǐng)先”了？
2025-03-26 15:06 -
胖東來(lái)，徹底“透明”
2025-03-26 14:26 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
補(bǔ)稅+罰款，印度要求三星支付44億
2025-03-26 14:04 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
騰訊元寶上線(xiàn)最新DeepSeekV3模型
2025-03-26 13:53 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
相關(guān)推薦 -
中柬云壤港聯(lián)合保障和訓(xùn)練中心正式掛牌運(yùn)行 評(píng)論 28
美股蒸發(fā)超5萬(wàn)億美元，“95年來(lái)最大政策失誤” 評(píng)論 298
美國(guó)人瘋狂囤貨，“中國(guó)電視被買(mǎi)空” 評(píng)論 212
“特朗普白給，中國(guó)要贏得全世界了” 評(píng)論 174最新聞 Hot-
特朗普轉(zhuǎn)發(fā)“巴菲特支持特朗普經(jīng)濟(jì)政策”，巴菲特回應(yīng)了
-
這一重大科研裝置，成功部署！
-
中柬云壤港聯(lián)合保障和訓(xùn)練中心正式掛牌運(yùn)行
-
美媒關(guān)注：辛辣回?fù)籼乩势贞P(guān)稅，中國(guó)媒體用上AI歌曲和短片
-
特朗普再要求降息，鮑威爾：關(guān)稅遠(yuǎn)超預(yù)期，再等等
-
美股蒸發(fā)超5萬(wàn)億美元，“95年來(lái)最大政策失誤”
-
萬(wàn)斯：歐洲最大威脅不是中俄
-
魯比奧辯解：美國(guó)需要回到制造業(yè)時(shí)代
-
在美烏克蘭人限期7日離境？美官方：發(fā)錯(cuò)了
-
美股“血流成河”，特朗普選擇…去打高爾夫球
-
魯比奧告訴北約：特朗普快對(duì)普京沒(méi)耐心了
-
美國(guó)人瘋狂囤貨，“中國(guó)電視被買(mǎi)空”
-
美股三大股指收盤(pán)暴跌，納指進(jìn)入熊市
-
美股開(kāi)盤(pán)重挫，特朗普：我的政策永不改變
-
90億美元還想不想要？哈佛被下“整改通牒”
-
“2300美元一臺(tái)？特朗普要親手毀掉‘美國(guó)象征’？”
快訊- 中國(guó)科學(xué)家獲重要進(jìn)展：讓金屬“不可能三角”成為可能
- 中國(guó)救援隊(duì)談支援緬甸地震：有隊(duì)員48小時(shí)未進(jìn)食
- 這一重大科研裝置，成功部署！
- 滴滴將重啟巴西外賣(mài)業(yè)務(wù) 國(guó)際業(yè)務(wù)已連續(xù)四季度增長(zhǎng)30%
- 中國(guó)政府援緬第三批抗震救災(zāi)物資抵達(dá)
- 四問(wèn)機(jī)票“天價(jià)退改費(fèi)”，還有哪些OTA們“不敢說(shuō)”的真相？
- 中柬云壤港聯(lián)合保障和訓(xùn)練中心正式掛牌運(yùn)行
- 擺攤賣(mài)大鍋鹵菜，月入10萬(wàn)元？
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報(bào)鏈接
- 舉報(bào)制度規(guī)范
- 《網(wǎng)站自律管理承諾書(shū)》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號(hào)-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號(hào) 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營(yíng)許可證：（滬）字第03952號(hào)
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證：滬B2-20210968 違法及不良信息舉報(bào)電話(huà)：021-62376571
滬公網(wǎng)安備 31010502000027號(hào)
中國(guó)互聯(lián)網(wǎng)舉報(bào)中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報(bào)中心
