-
根據(jù)圖片識(shí)人、識(shí)物,釘釘AI升級(jí)多模態(tài)能力
-
周毅是故意的還是不小心?
多模態(tài)、長文本與RPA(機(jī)器人流程自動(dòng)化)技術(shù),在AI應(yīng)用的落地上又有新進(jìn)展。
3月28日,釘釘AI助理迎來重要升級(jí),正式上線圖片理解、文檔速讀和工作流等產(chǎn)品能力。此次升級(jí)后,釘釘AI助理將擁有更強(qiáng)的視覺推理能力和長文本速讀能力。在AI助理對(duì)話框,用戶發(fā)送長文件、在線文檔、網(wǎng)頁鏈接、視頻內(nèi)容,即可進(jìn)行多輪交互和智能問答。
資料顯示,基于通義千問Qwen-VL-Max視覺理解模型,釘釘AI助理能夠準(zhǔn)確描述和識(shí)別圖片信息,并進(jìn)行信息推理、擴(kuò)展創(chuàng)作、文字提取和翻譯等;在收到用戶發(fā)來的視頻后,AI助理會(huì)根據(jù)視頻內(nèi)容生成字幕,提取關(guān)鍵詞,并生成一份智能摘要,對(duì)于最高2GB的視頻內(nèi)容,僅需3分鐘即可完成智能解讀。
喚醒這些功能也并不復(fù)雜:用戶在釘釘IM消息框或點(diǎn)擊魔法棒按鈕即可進(jìn)入AI助理對(duì)話框。
從初步測試來看,釘釘新版AI助理,已經(jīng)具備較為成熟的圖片識(shí)別和智能對(duì)話能力。
如下圖(左)所示,根據(jù)我們提供的照片,釘釘AI助理幾乎瞬間認(rèn)出了小貓的品種,并對(duì)該品種貓咪的特征和照片背景進(jìn)行了簡單描述;在沒有任何文字提醒,以及照片內(nèi)沒有文字提示的情況下,釘釘AI助理準(zhǔn)確識(shí)別了拍攝于上海迪士尼的城堡照片(如下圖右)。
釘釘實(shí)測圖片(下同)
多模態(tài)能力的加入,讓AI助理更具實(shí)用性,例如翻譯信息、提取文字等。
我們隨手拍攝并上傳了一張耳塞外包裝(純英文說明)圖片。在識(shí)別產(chǎn)品品牌、功能等常規(guī)信息之外,釘釘AI助理在外包裝明顯破損的情況下,對(duì)英文說明進(jìn)行了簡單分析和翻譯,并提取了關(guān)鍵詞。令人感到意外的是,在密集的英文印刷中,AI識(shí)別出了模糊的NRR信息(降噪等級(jí)),并提示用戶對(duì)此進(jìn)行關(guān)注。
對(duì)于表情包和網(wǎng)絡(luò)梗圖,釘釘AI助理也展示出一定的識(shí)別和推理能力。
綜合來看,基于通義千問Qwen-VL-Max視覺理解模型,釘釘AI助理能做的事情明顯變多了。
公開資料顯示,Qwen-VL-Max整體性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等測評(píng)中超過業(yè)界所有開源模型,在文檔分析(DocVQA)、中文圖像相關(guān)(MM-Bench-CN)等任務(wù)上超越GPT-4V,位于世界第一梯隊(duì)水平。
不過,AI助理也不是全能的。從實(shí)測來看,未來它仍有大量提升空間。例如對(duì)影視劇中穿戴墨鏡的人物,以及身著古裝服飾的人物,釘釘AI有時(shí)無法精準(zhǔn)識(shí)別。此外,對(duì)于“一個(gè)月才幾百塊,你玩什么命啊”這樣較為晦澀的網(wǎng)梗,AI的理解能力也有待繼續(xù)完善。
更新后,AI助理強(qiáng)化了文檔速讀和視頻速讀能力:用戶上傳相關(guān)的文件和視頻,即可得到一份內(nèi)容總結(jié)。
值得一提的是,根據(jù)不同需要,AI助理能生成各細(xì)分領(lǐng)域的助手,用戶還能通過鏈接等形式和他人分享。例如“我的歌曲助手”:用戶只需輸入音樂和唱法風(fēng)格等“訴求”,在約5分鐘左右的時(shí)間里,AI就會(huì)自動(dòng)生成歌曲,并發(fā)送至指定郵箱——初步來看,這些歌曲和音樂其實(shí)都有不錯(cuò)的完成度。
據(jù)公開資料,此次更新后,釘釘對(duì)“工作流”玩法也進(jìn)行了升級(jí)。用戶可以通過工作流,對(duì)AI執(zhí)行任務(wù)的流程進(jìn)行拆解和編排,主動(dòng)接管完成相應(yīng)操作,并打通外部系統(tǒng)數(shù)據(jù)和API能力,例如搭建能自動(dòng)寫腳本并生成視頻的創(chuàng)作AI助理等。為降低用戶的使用門檻,釘釘官方還將提供多種工作流模板。
本文系觀察者網(wǎng)獨(dú)家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
- 責(zé)任編輯: 周毅 
-
華為去年?duì)I收7042億,凈利潤增長144%
2024-03-29 17:00 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
“中國消耗這2000億度電,給全球貢獻(xiàn)了10萬億度清潔能源”
2024-03-29 14:50 博鰲論壇 -
萬科高管自愿降薪至每月稅前1萬元,曾年薪千萬
2024-03-29 11:14 -
投入百億真金白銀,淘寶加碼內(nèi)容電商
2024-03-29 10:36 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
光大銀行營收凈利雙降、股價(jià)大跌,行長:經(jīng)營基本面穩(wěn)定
2024-03-28 21:50 觀網(wǎng)財(cái)經(jīng)-金融 -
菜鳥歸巢,阿里進(jìn)入“分拆上市”冷靜期
2024-03-28 21:32 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
中國在全球率先商用5.5G,首批百城名單公布
2024-03-28 17:20 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
去年扣非虧損收窄,京東方砸630億繼續(xù)增產(chǎn)OLED
2024-03-28 15:18 觀網(wǎng)財(cái)經(jīng)-金融 -
219克“堆料冠軍”背后,中國折疊屏競爭正走向白熱化
2024-03-28 13:47 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
今年中央財(cái)政預(yù)計(jì)收入總額超16萬億元,“細(xì)賬”公開
2024-03-27 16:03 觀網(wǎng)財(cái)經(jīng)-宏觀 -
百億級(jí)股權(quán)交易,央企華潤將成中國最大芯片封測廠實(shí)控人
2024-03-27 15:57 觀網(wǎng)財(cái)經(jīng)-金融 -
淘寶清倉B站,阿里巴巴再“瘦身”
2024-03-27 14:41 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
沈輝接任高鑫零售CEO,原CEO林小?;貧w阿里
2024-03-27 09:58 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
再次掉頭向下,2月國內(nèi)手機(jī)出貨急跌超30%
2024-03-26 18:10 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
?大戶存款首破十萬億,招行收入為何14年來首次下滑?
2024-03-26 17:53 觀網(wǎng)財(cái)經(jīng)-金融 -
字節(jié)旗下飛書宣布裁員:組織不夠精干效率在變低
2024-03-26 15:20 觀網(wǎng)財(cái)經(jīng)-互聯(lián)網(wǎng) -
外媒炒中國政府采購“禁用”英特爾和AMD,真實(shí)情況如何?
2024-03-26 13:43 觀網(wǎng)財(cái)經(jīng)-科創(chuàng)
相關(guān)推薦 -
-
以色列發(fā)動(dòng)第二輪襲擊,伊朗關(guān)閉領(lǐng)空 評(píng)論 153目睹這些場景,良心不會(huì)痛嗎 評(píng)論 231“金磚為什么火?因?yàn)闆]走西方拉幫結(jié)派的老路” 評(píng)論 62IMF對(duì)華講公道話,美媒酸了 評(píng)論 73美國發(fā)布首份AI備忘錄,“得防中國戰(zhàn)略突襲” 評(píng)論 109最新聞 Hot
-
以色列發(fā)動(dòng)第二輪襲擊,伊朗關(guān)閉領(lǐng)空
-
他反思:歐盟必須停止對(duì)世界說教,才能對(duì)抗中俄
-
對(duì)華關(guān)系,英財(cái)相居然對(duì)美國“慕了”
-
目睹這些場景,良心不會(huì)痛嗎
-
“金磚為什么火?因?yàn)闆]走西方拉幫結(jié)派的老路”
-
“公用火力發(fā)電比例高于中國,美領(lǐng)導(dǎo)地位危”
-
他倆定期“秘密對(duì)話”?克宮回應(yīng)
-
以色列襲擊黎巴嫩南部,致3名記者死亡
-
美衛(wèi)星解體恐殃及中國,“很難評(píng)估有多糟糕”
-
怕特朗普攪局,歐盟擬加碼“長期維持”對(duì)俄制裁
-
“伊朗已下令準(zhǔn)備開戰(zhàn),考慮發(fā)射1000枚導(dǎo)彈回?fù)簟?/a>
-
英國國王承認(rèn)了,但也沒有提賠償
-
美國發(fā)布首份AI備忘錄,“得防中國戰(zhàn)略突襲”
-
“英國軍情五處完全在胡說八道”
-
普京回應(yīng)“朝軍援俄”傳聞
-
被批“中國有支票美國有清單”,他又畫餅忽悠…
-