合肥法語培訓(xùn)：虛擬主持人研發(fā)團(tuán)隊(duì)負(fù)責(zé)人郜靜文:通過個性化多語言合成技術(shù)合成

【同期】AI小青，虛擬主播

大家好，我是科大訊飛。AI虛擬主播小青，我可以用多種語言和方言廣播。現(xiàn)在我用廣東話為你廣播；現(xiàn)在用英語為你廣播；現(xiàn)在用俄語為你廣播；現(xiàn)在用日語為你廣播；現(xiàn)在用韓語為你廣播；現(xiàn)在用法語為你廣播。祝你身心健康，工作順利。

【說明】據(jù)了解，原有AI虛擬錨是一個單維語音提示。如果你想實(shí)現(xiàn)流暢的語言，豐富和愉快的語言，自然和生動的身體動作和表達(dá)，你需要通過個性化的多語言合成技術(shù)合成你想要廣播的內(nèi)容。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

目前，我們的虛擬主播已經(jīng)支持播放30多種語言。它是通過幾種技術(shù)實(shí)現(xiàn)的。首先，它需要收集一些人類材料。我們需要大約半小時的信息來建模這個虛擬人。在未來，我們只需要輸入文本，它就可以開始視頻輸出。

解釋說起來很簡單，但訓(xùn)練過程非常困難。定制錨定部分音頻和視頻同步視頻數(shù)據(jù)后，將數(shù)據(jù)的語音和視頻分開，用語音數(shù)據(jù)培訓(xùn)個性化語言生成模型，提取面部識別、表情捕獲等視頻參數(shù)；在多模態(tài)生成模型培訓(xùn)中，涉及深度學(xué)習(xí)、機(jī)器翻譯、多語言生成等關(guān)鍵技術(shù)。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

然后，通過虛擬人和語音合成的一些組合，它已經(jīng)成為一個多模式的虛擬人結(jié)構(gòu)。在這里，我們不僅要表現(xiàn)聲音的實(shí)現(xiàn)，還要表現(xiàn)一些情緒，包括情緒中的聲音表現(xiàn)，包括虛擬人的嘴唇和面部情緒，以及身體動作的靈活表現(xiàn)。在這個過程中，我們需要克服人工智能對文本的分析，情感分析與多維度的結(jié)合。

【說明】目前，研發(fā)部門已經(jīng)開發(fā)出來AI虛擬主播、AI虛擬客服、AI虛擬教師等，已廣泛應(yīng)用于媒體、金融、客戶服務(wù)等領(lǐng)域。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

劉鴻和張軍報(bào)道安徽合肥