觀察者網(wǎng)：這個(gè)多模態(tài)大模型的技術(shù)水平，跟國外同行相比怎么樣？

徐波： “紫東太初”是全球首個(gè)三模態(tài)大模型。目前，全世界研究單模態(tài)大模型（圖像、文本）的人比較多，研究語音大模型的相對(duì)少一些。我們是少有的同時(shí)具備圖、文、音研究儲(chǔ)備和基礎(chǔ)的研究機(jī)構(gòu)。這次自動(dòng)化研究所系統(tǒng)整理收集了積累多年的多模態(tài)數(shù)據(jù)庫，并把圖、文、音三個(gè)模態(tài)統(tǒng)一起來，在一個(gè)共同的語義空間去做相互的轉(zhuǎn)換和統(tǒng)一表述，這在全球是首次。通過巧妙的構(gòu)建一個(gè)多模態(tài)大模型，我們的圖像技術(shù)、語音技術(shù)和文本技術(shù)都超越了現(xiàn)有最好水平。過去業(yè)界習(xí)慣用有監(jiān)督的學(xué)習(xí)，而我們的技術(shù)對(duì)有標(biāo)注數(shù)據(jù)的依賴性較小，改變了人工智能訓(xùn)練需要標(biāo)注好的大數(shù)據(jù)的固有模式。

首先業(yè)界領(lǐng)先性能的中文預(yù)訓(xùn)練模型、語音預(yù)訓(xùn)練模型、視覺預(yù)訓(xùn)練模型是我們?nèi)B(tài)模型的基礎(chǔ)。比如，視覺的預(yù)訓(xùn)練模型，首次實(shí)現(xiàn)超越有監(jiān)督學(xué)習(xí)的性能，速度比其他的方法提高8倍，在語義分割的結(jié)果上，也超越了有監(jiān)督學(xué)習(xí)的水平。在中文預(yù)訓(xùn)練模型里面提出來任務(wù)感知和推理增強(qiáng)的模型，性能相比比GPT-3明顯提升。語音預(yù)訓(xùn)練模型，針對(duì)語音領(lǐng)域語種多樣、標(biāo)注成本高的問題，實(shí)現(xiàn)了基于語音預(yù)訓(xùn)練的多語言、多任務(wù)、低資源關(guān)鍵技術(shù)的突破，使我們用很少的有標(biāo)注數(shù)據(jù)就可以實(shí)現(xiàn)語音識(shí)別的性能大幅度提升。

然后我們?cè)诮y(tǒng)一的語義空間網(wǎng)絡(luò)表達(dá)上實(shí)現(xiàn)了模態(tài)之間的高效協(xié)同和相互轉(zhuǎn)換，在多任務(wù)上取得了更卓越的性能。在跨模態(tài)檢索和圖文語義轉(zhuǎn)換方面，都比兩個(gè)模態(tài)具有更豐富的表達(dá)跟生成能力。語音加入后，使得我們的大模型可以跟人類做自然流暢的交互。這意味著，我們?nèi)斯ぶ悄芗夹g(shù)在共性的語義空間表征方面取得了重要進(jìn)展。

觀察者網(wǎng)：AI應(yīng)用場(chǎng)景的碎片化需求，正在成為AI算法落地面臨的最大挑戰(zhàn)。而三模態(tài)大模型能夠?qū)崿F(xiàn)多模態(tài)對(duì)話，視頻播報(bào)，以音生圖，以圖生音，非常有意思，未來是否有可能所有問題都會(huì)通過統(tǒng)一的大模型來解決？

徐波：我覺得非常有可能。我們?nèi)祟愔饕袃煞N能力，一種是與生俱來的能力，到了一定的年齡，通過基本的學(xué)習(xí)就能自然的學(xué)會(huì)說話、走路。另外一種是專業(yè)技能，如果要學(xué)會(huì)彈鋼琴、水墨畫等，仍然需要長時(shí)間的專業(yè)訓(xùn)練才能實(shí)現(xiàn)，因?yàn)檫@改變了人的特定知識(shí)結(jié)構(gòu)。

多模態(tài)大模型為通用人工智能的研究奠定了非常好的基座。人類基本的知識(shí)、常識(shí)，看到的一些場(chǎng)景、物體，以及從物理世界看到的很多東西，都可以隱藏在這個(gè)大模型里面。比如要做語音識(shí)別，現(xiàn)在用很小的數(shù)據(jù)量就可以了，甚至可以逐漸做到不需要有監(jiān)督的數(shù)據(jù)學(xué)習(xí)。

預(yù)訓(xùn)練模型作為基座模型雖然不是萬能的，但是人工智能的研究范式和產(chǎn)業(yè)范式也會(huì)出現(xiàn)一些變化。比如說，現(xiàn)在產(chǎn)業(yè)都在講算法開源，但算法的維護(hù)成本很高，尤其是現(xiàn)在人工智能的人才很稀缺，未來人工智能領(lǐng)域開放的可能是模型，客戶獲得大模型的接口再稍微加一點(diǎn)數(shù)據(jù)就能解決問題，即“大模型+小數(shù)據(jù)”，這是我們未來希望看到的大模型對(duì)產(chǎn)業(yè)帶來的賦能。這個(gè)大模型技術(shù)從學(xué)術(shù)成果向產(chǎn)業(yè)轉(zhuǎn)化可能還需要一個(gè)過程，但我認(rèn)為不會(huì)太久，未來2-4年之內(nèi)這些新技術(shù)都會(huì)逐漸得到應(yīng)用。

觀察者網(wǎng)：能不能具體講一下紫東太初這個(gè)多模態(tài)大模型以音聲圖、以圖生音的應(yīng)用案例？

徐波：以圖生音為例?？梢圆唤?jīng)過文本，直接在一個(gè)共通語義空間做轉(zhuǎn)換，就是語義到語音的直接合成。以音生圖，它不是先識(shí)別語音，再做文本的檢索，而是直接在一個(gè)語義空間里面把這個(gè)聲音轉(zhuǎn)換成圖像。所以我們?yōu)槭裁凑f這個(gè)是通用人工智能路徑的探索，就是通過圖文音三個(gè)模態(tài)固化出一個(gè)人類非常模糊但是非常有用，只是不知道人類大腦是怎么表達(dá)的一個(gè)語義空間的表征。

生成語音：一架大型飛機(jī)在天空中飛翔

輸入語音：一個(gè)人在滑雪板上翻轉(zhuǎn)在空中

除此之外，我們還可以給出一個(gè)多模態(tài)大模型的互動(dòng)演示，涉及到很多的語音識(shí)別，語音合成，包括對(duì)圖像的描述，中文的續(xù)寫等等，通過語義空間直接的轉(zhuǎn)換來完成。

這一系列的展示，是非常類人的多模態(tài)交互。它可以任意輸入語音、圖像或者文字，去輸出語音，圖像和文字的任意一種，真正實(shí)現(xiàn)三個(gè)模態(tài)之間的關(guān)聯(lián)跟協(xié)同。它們中間就是我們講的“統(tǒng)一的語義空間”。

這里主要表達(dá)三個(gè)觀點(diǎn)，一是大數(shù)據(jù)+大模型+多模態(tài)，將改變當(dāng)前單一模型與單一任務(wù)人工智能的研發(fā)模式，多模態(tài)大模型將成為不同領(lǐng)域的共性平臺(tái)技術(shù)。其次，在目前的研究當(dāng)中，有一種慣性思維是做人工智能都要用大數(shù)據(jù)，而當(dāng)知識(shí)與數(shù)據(jù)混合驅(qū)動(dòng)，增強(qiáng)模型的可信、可理解能力后，我相信隨著這些技術(shù)的發(fā)展，人工智能學(xué)習(xí)對(duì)有標(biāo)注的數(shù)據(jù)的依賴性會(huì)越來越小。

此外，國產(chǎn)化通用人工智能具有很高的技術(shù)門檻，需要大量的資金與數(shù)據(jù)的支撐，將使得人工智能的研究規(guī)則發(fā)生重大變革，對(duì)我國實(shí)現(xiàn)人工智能領(lǐng)域科技創(chuàng)新，占領(lǐng)核心技術(shù)高地具有重要戰(zhàn)略意義。以圖生音，以音生圖，效果甚至出乎我們自己的想象，這也帶給我們一項(xiàng)啟發(fā)，讓我們對(duì)未來的人工智能又增加的無窮的想象力。所以，多模態(tài)大模型人工智能值得我們進(jìn)一步去探索，值得我們進(jìn)一步探索更巧結(jié)構(gòu)、更大規(guī)模、更強(qiáng)理解能力的模型以及相應(yīng)的評(píng)估標(biāo)準(zhǔn)，也值得我們把這樣的技術(shù)跟產(chǎn)業(yè)需求更好的結(jié)合起來。

再舉一些生活化的例子。比如說，利用大模型可以實(shí)現(xiàn)歐洲杯轉(zhuǎn)播的人工智能自動(dòng)解說；在影視拍攝領(lǐng)域，可以根據(jù)劇本的文字自動(dòng)生成畫面和場(chǎng)景，供導(dǎo)演再加工；在教育領(lǐng)域可以根據(jù)語義內(nèi)涵，自動(dòng)生成畫面和聲音、甚至生成全新的音樂（而非在既有樂庫中選取），類似實(shí)現(xiàn)媽媽給孩子講故事等功能，讓人工智能具備初步的想象力和藝術(shù)創(chuàng)作力。其實(shí)這與人類大腦工作機(jī)制是比較類似的。