-
OpenAI發(fā)布首個視頻生成模型Sora:輸文字出視頻,1分鐘流暢高清
2月16日凌晨,OpenAI再次扔出一枚深水炸彈,發(fā)布了首個文生視頻模型Sora。據(jù)介紹,Sora可以直接輸出長達(dá)60秒的視頻,并且包含高度細(xì)致的背景、復(fù)雜的多角度鏡頭,以及富有情感的多個角色。
目前官網(wǎng)上已經(jīng)更新了48個視頻demo,在這些demo中,Sora不僅能準(zhǔn)確呈現(xiàn)細(xì)節(jié),還能理解物體在物理世界中的存在,并生成具有豐富情感的角色。該模型還可以根據(jù)提示、靜止圖像甚至填補(bǔ)現(xiàn)有視頻中的缺失幀來生成視頻。
例如一個Prompt(大語言模型中的提示詞)的描述是:在東京街頭,一位時髦的女士穿梭在充滿溫暖霓虹燈光和動感城市標(biāo)志的街道上。
在Sora生成的視頻里,女士身著黑色皮衣、紅色裙子在霓虹街頭行走,不僅主體連貫穩(wěn)定,還有多鏡頭,包括從大街景慢慢切入到對女士的臉部表情的特寫,以及潮濕的街道地面反射霓虹燈的光影效果。
電影預(yù)告片講述了30歲宇航員戴著紅色羊毛針織摩托車頭盔的冒險(xiǎn)經(jīng)歷,藍(lán)天、鹽漠,電影風(fēng)格,35毫米膠片拍攝,色彩鮮艷。
AI想象中的龍年春節(jié),紅旗招展人山人海。有緊跟舞龍隊(duì)伍抬頭好奇觀望的兒童,還有不少人掏出手機(jī)邊跟邊拍,海量人物角色各有各的行為。
豎屏超近景視角下,這只蜥蜴細(xì)節(jié)拉滿:
網(wǎng)友直呼game over,工作要丟了:
甚至有人已經(jīng)開始“悼念”一整個行業(yè):
還有網(wǎng)友表示,電影業(yè)要徹底顛覆了。
一位YouTube博主Paddy Galloway發(fā)表了對Sora的感想,他表示內(nèi)容創(chuàng)作行業(yè)已經(jīng)永遠(yuǎn)的改變了,并且毫不夸張?!拔疫M(jìn)入YouTube世界已經(jīng)15年時間,但OpenAI剛剛的展示讓我無言…動畫師/3D藝術(shù)家們有麻煩了,素材網(wǎng)站將變得無關(guān)緊要,任何人都可以無壁壘獲得難以置信的產(chǎn)品,內(nèi)容背后的‘想法’和故事將變得更加重要?!?
對于Sora當(dāng)前存在的弱點(diǎn),OpenAI也不避諱,指出它可能難以準(zhǔn)確模擬復(fù)雜場景的物理原理,并且可能無法理解因果關(guān)系。
例如“五只灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數(shù)量會變化,一些憑空出現(xiàn)或消失。
該模型還可能混淆提示的空間細(xì)節(jié),例如混淆左右,并且可能難以精確描述隨著時間推移發(fā)生的事件,例如遵循特定的相機(jī)軌跡。
如提示詞“籃球穿過籃筐然后爆炸”中,籃球沒有正確被籃筐阻擋。
OpenAI表示,他們正在教AI理解和模擬運(yùn)動中的物理世界,目標(biāo)是訓(xùn)練模型來幫助人們解決需要現(xiàn)實(shí)世界交互的問題。
隨后OpenAI解釋了Sora的工作原理,Sora是一個擴(kuò)散模型,它從類似于靜態(tài)噪聲的視頻開始,通過多個步驟逐漸去除噪聲,視頻也從最初的隨機(jī)像素轉(zhuǎn)化為清晰的圖像場景。Sora使用了Transformer架構(gòu),有極強(qiáng)的擴(kuò)展性。
視頻和圖像是被稱為“補(bǔ)丁”的較小數(shù)據(jù)單位集合,每個“補(bǔ)丁”都類似于GPT中的一個標(biāo)記(Token),通過統(tǒng)一的數(shù)據(jù)表達(dá)方式,可以在更廣泛的視覺數(shù)據(jù)上訓(xùn)練和擴(kuò)散變化,包括不同的時間、分辨率和縱橫比。
Sora是基于過去對DALL·E和GPT的研究基礎(chǔ)構(gòu)建,利用DALL·E 3的重述提示詞技術(shù),為視覺模型訓(xùn)練數(shù)據(jù)生成高描述性的標(biāo)注,因此模型能更好的遵循文本指令。
如今,Sora正面向部分成員開放,以評估關(guān)鍵領(lǐng)域的潛在危害或風(fēng)險(xiǎn)。同時,OpenAI也邀請了一批視覺藝術(shù)家、設(shè)計(jì)師和電影制作人加入,期望獲得寶貴反饋,以推動模型進(jìn)步,更好地助力創(chuàng)意工作者。OpenAI提前分享研究進(jìn)展,旨在與OpenAI以外的人士合作并獲取反饋,讓公眾了解即將到來的AI技術(shù)新篇章。
|舉報(bào)-
違反法律法規(guī) -
垃圾信息、廣告 -
色情、淫穢信息 -
人身攻擊 -
謠言、不實(shí)信息 -
冒充,冒用信息 -
破壞社區(qū)秩序 -
其他 -
涉未成年人有害信息
- 原標(biāo)題:太炸了!OpenAI深夜發(fā)布,文字直接生成視頻!網(wǎng)友:我要失業(yè)了
- 責(zé)任編輯: 林鈴錦 
-
自主研制離子成像技術(shù)探測量子態(tài),我國科學(xué)家有了新發(fā)現(xiàn)
2024-02-16 11:06 科技前沿 -
新春伊始,一批大國重器取得新突破
2024-02-14 20:45 觀察者頭條 -
微型機(jī)器人在國際空間站首次模擬手術(shù)任務(wù)
2024-02-14 19:32 科技前沿 -
實(shí)現(xiàn)突破性進(jìn)展!這一領(lǐng)域,我國處于全球第一梯隊(duì)
2024-02-12 22:34 科技前沿 -
向理解高溫超導(dǎo)機(jī)理邁出重要一步,中國科學(xué)家首次觀測到
2024-02-08 11:19 科技前沿 -
我國編制首部腦機(jī)接口研究倫理指引
2024-02-07 07:17 -
英偉達(dá)對華“閹割版”芯片已可接受預(yù)訂,但經(jīng)銷商說…
2024-02-05 09:57 -
研究:月球正在縮小,南極月震使月球基地可能沒那么宜居
2024-02-02 16:59 -
這項(xiàng)重大突破,避免了“美國人比中國人更了解中國人”
2024-02-02 07:58 科技前沿 -
此前只有兩個國家掌握這一技術(shù),我國實(shí)現(xiàn)突破
2024-02-01 22:01 科技前沿 -
對標(biāo)GPT-4,訊飛星火V3.5發(fā)布
2024-01-31 09:16 人工智能 -
預(yù)計(jì)2026年建成!國內(nèi)最強(qiáng)光譜望遠(yuǎn)鏡將落戶青海冷湖
2024-01-29 23:01 科技前沿 -
世界首款四座氫內(nèi)燃飛機(jī)原型機(jī)成功首飛!主要核心部件初步實(shí)現(xiàn)國產(chǎn)化
2024-01-29 20:44 科技前沿 -
我國首次在極地布放生態(tài)潛標(biāo)
2024-01-28 09:02 -
快舟火箭可復(fù)用技術(shù)試驗(yàn)箭垂直起降試驗(yàn)圓滿成功
2024-01-27 08:24 航空航天 -
德央行警告“與中國脫鉤”:德國將嚴(yán)重動蕩
2024-01-26 19:13 德意志 -
紅海危機(jī),中方出手?
2024-01-26 13:52 觀察者頭條 -
72億年僅偏差1秒!我國第二個達(dá)成
2024-01-26 13:44 科技前沿 -
Intel 3D封裝技術(shù)開始量產(chǎn),后摩爾時代競爭已經(jīng)到來
2024-01-25 19:44 科技前沿 -
世界首臺!這一難題被我國突破了
2024-01-25 09:19 科技前沿
相關(guān)推薦 -
-
以色列提以黎停火條件,美官員都看不下去 評論 181最新聞 Hot
-
“中國引領(lǐng),金磚國家在這方面將追平歐盟和G7”
-
“被騙兩次算我蠢,歐盟準(zhǔn)備好回?fù)簟?/a>
-
“蘇聯(lián)衛(wèi)星上天,美國才意識到科技競爭要靠政府”
-
“中國正超越歐洲,成最大買家”
-
武契奇:只有普京懂我,他還跟我說了這句話
-
印外長稱:中印邊境問題,達(dá)成協(xié)議
-
“若中國大陸武統(tǒng),全美國科技行業(yè)恐任其擺布”
-
以軍士兵自殺后被指“生前是殺人犯”,親屬喊冤:他心地善良
-
武契奇要見馮德萊恩去不了金磚:我對普京很誠實(shí)
-
困于繁文縟節(jié),歐洲臨床試驗(yàn)落后中國
-
白宮:不予置評
-
以軍被曝強(qiáng)迫加沙平民作人盾,“就像玩具一樣”
-
以色列稱真主黨在醫(yī)院地下藏?cái)?shù)億現(xiàn)金和黃金,院長駁斥
-
以色列宣布:破獲伊朗間諜大案
-
以色列提以黎停火條件,美官員都看不下去
-
“中老鐵路改變泰國榴蓮命運(yùn)”
-