3月26日，一篇名為Dolphin —— 一款專為東方語(yǔ)言設(shè)計(jì)的語(yǔ)音大模型（Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages）的論文在arXiv （康奈爾大學(xué)圖書(shū)館運(yùn)營(yíng)的一個(gè)開(kāi)放獲取的預(yù)印本平臺(tái)）上發(fā)表。

目前，Dolphin 的base與small版模型與推理代碼已經(jīng)全面開(kāi)源。

據(jù)悉，該項(xiàng)目來(lái)自海天瑞聲和清華大學(xué)電子工程系語(yǔ)音與音頻技術(shù)實(shí)驗(yàn)室的合作，兩者共同推出了支持40個(gè)東方語(yǔ)種，以及22種中文方言（含普通話）的語(yǔ)音識(shí)別系統(tǒng)。

在數(shù)據(jù)方面，該系統(tǒng)的訓(xùn)練數(shù)據(jù)總時(shí)長(zhǎng)21.2萬(wàn)小時(shí)，其中海天瑞聲高質(zhì)量專有數(shù)據(jù)13.8萬(wàn)小時(shí)，開(kāi)源數(shù)據(jù)7.4萬(wàn)小時(shí)。

性能層面，通過(guò)與OpenAI推出的Whisper在同等尺寸模型的比較，根據(jù)參考三個(gè)多語(yǔ)言數(shù)據(jù)集（海天瑞聲、Fleurs、CommonVoice）的平均值得出：

Dolphin base版模型的WER（詞錯(cuò)率）為 31.8%，而 Whisper large-v3 版模型的詞錯(cuò)率為 52.3%。從這個(gè)角度看，盡管dolphin基礎(chǔ)版模型的規(guī)模不到 Whisper large-v3 版模型的十分之一，但在針對(duì)這些語(yǔ)言進(jìn)行評(píng)估時(shí)，其詞錯(cuò)率與 Whisper large-v3 模型相比相對(duì)降低了 39%，這凸顯了dolphin的性能優(yōu)勢(shì)。

具體技術(shù)上，Dolphin網(wǎng)絡(luò)結(jié)構(gòu)基于CTC-Attention架構(gòu)，E-Branchformer編碼器和Transformer解碼器，并引入了4倍下采樣層。

CTC-Attention架構(gòu)能夠提升模型的識(shí)別準(zhǔn)確性和效率；Branchformer編碼器采用并行分支結(jié)構(gòu)，能夠更有效地捕捉輸入語(yǔ)音信號(hào)的局部和全局依賴關(guān)系，為模型提供了更豐富的特征表示；Transformer解碼器確保系統(tǒng)能夠提供高質(zhì)量的文本輸出；4倍下采樣層可以減少輸入特征的序列長(zhǎng)度，從而加速計(jì)算過(guò)程，同時(shí)保留關(guān)鍵的語(yǔ)音信息，確保模型的識(shí)別效果不受影響。

此外，Dolphin還引入了兩級(jí)語(yǔ)種標(biāo)簽系統(tǒng)，第一個(gè)標(biāo)簽指定語(yǔ)種（例如<zh>、<ja>），第二個(gè)標(biāo)簽指定地區(qū)（例如<CN>、<JP>）。

這種分層方法使模型能夠捕捉同一種語(yǔ)言內(nèi)不同方言和口音之間的差異，以及同一地區(qū)內(nèi)不同語(yǔ)言之間的相似性，從而提高了模型區(qū)分密切相關(guān)的方言的能力，并通過(guò)在語(yǔ)言和地區(qū)之間建立聯(lián)系增強(qiáng)泛化能力。

海天瑞聲表示，通過(guò)共享技術(shù)成果，希望能夠吸引更多的開(kāi)發(fā)者和研究機(jī)構(gòu)參與到東方語(yǔ)言語(yǔ)音識(shí)別的研究中來(lái)，共同推動(dòng)技術(shù)進(jìn)步。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。