[發(fā)明專利]一種基于文本信息生成說話人視頻的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011577254.1
• 申請(qǐng)日: 2020-12-28
• 公開（公告）號(hào): CN112735371B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 張旭;楊喜鵬;殷昊;江明奇;陳云琳
• 申請(qǐng)（專利權(quán)）人: 北京羽扇智信息科技有限公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L25/24;G06V40/16;G06F40/289;G06F40/30;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京樂知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 江宇

本發(fā)明公開了一種基于文本信息生成說話人視頻的方法及裝置，本發(fā)明實(shí)施例對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列；對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像；對(duì)所述梅爾頻譜圖序列進(jìn)行語音處理，生成與文本信息對(duì)應(yīng)的語音信息；對(duì)所述面部圖像和所述語音信息進(jìn)行合成處理，生成說話人視頻。由此能夠有效合成說話人視頻，并提高說話人視頻的合成效果，從而解決現(xiàn)有技術(shù)中不同使用者通過語音合成說話人視頻導(dǎo)致的合成效果下降且制作成本高的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種基于文本信息生成說話人視頻的方法及裝置。

背景技術(shù)

現(xiàn)有的說話人視頻通常是基于語音信息生成的說話人視頻，也就是將語音信息輸入訓(xùn)練好的模型中生成說話人視頻。對(duì)于合成的說話人視頻，通常要求在視覺上說話內(nèi)容要與說話姿態(tài)保持一致，說話姿態(tài)可以是面部動(dòng)作等。

然而由于人與人之間的聲音特征有很大區(qū)別，例如針對(duì)同一單詞，不同人發(fā)出的語音特征有很大差別，每個(gè)人的語音都攜帶有對(duì)應(yīng)的ID特征，這里的ID特征主是用來區(qū)分不同人的聲音。采用不同ID特征的語音訓(xùn)練模型，利用該模型得到的說話人姿態(tài)效果不佳，最終導(dǎo)致合成的說話人視頻單調(diào)、僵硬。為此，在利用語音信息訓(xùn)練模型時(shí)，需要先對(duì)語音的ID特征進(jìn)行去除，然后利用去除ID特征的語音信息訓(xùn)練模型，但是去除ID特征的語音信息通常語義表征比較單一，因此會(huì)增加模型訓(xùn)練的難度，而且從使用效果上來看，采用該方法訓(xùn)練的模型還不如使用單個(gè)說話人語音信息訓(xùn)練的模型。另外，通常語音信息需要使用專用設(shè)備和專業(yè)操作人員進(jìn)行捕獲，而且數(shù)據(jù)量大，訓(xùn)練周期長(zhǎng)，成本高，并且所有工作均是由一組動(dòng)畫師執(zhí)行，因此針對(duì)單個(gè)說話人語音信息訓(xùn)練模型，上述這種定制化方式對(duì)于使用者來說通常是非常昂貴的。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種基于文本信息生成說話人視頻的方法及裝置，能夠使得生成的說話人視頻更加自然逼真，提高了說話人視頻的合成效果。

根據(jù)本發(fā)明實(shí)施例第一方面，提供一種基于文本信息生成說話人視頻的方法，包括：對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列；對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像；對(duì)所述梅爾頻譜圖序列進(jìn)行語音處理，生成與文本信息對(duì)應(yīng)的語音信息；對(duì)所述面部圖像和所述語音信息進(jìn)行合成處理，生成說話人視頻。

根據(jù)本發(fā)明一實(shí)施方式，所述對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列，包括：對(duì)所述文本信息進(jìn)行預(yù)處理，生成音素向量；對(duì)所述音素向量進(jìn)行語義特征提取處理，得到語義向量；對(duì)所述語義向量進(jìn)行時(shí)序特征提取處理，生成時(shí)序向量；對(duì)所述時(shí)序向量進(jìn)行解碼處理，生成梅爾頻譜圖序列。

根據(jù)本發(fā)明一實(shí)施方式，所述對(duì)所述文本信息進(jìn)行預(yù)處理，生成音素向量，包括：對(duì)所述文本信息進(jìn)行分詞處理，得到單詞；對(duì)所述單詞進(jìn)行拼音處理，得到與所述單詞對(duì)應(yīng)的拼音；對(duì)所述拼音進(jìn)行分割處理，生成音素信息；對(duì)所述音素信息進(jìn)行編碼處理，生成音素向量。

根據(jù)本發(fā)明一實(shí)施方式，所述對(duì)所述時(shí)序向量進(jìn)行解碼處理，生成梅爾頻譜圖序列，包括：對(duì)所述時(shí)序向量施加特征權(quán)重，得到具有權(quán)重的特征向量；對(duì)所述具有權(quán)重的特征向量進(jìn)行解碼處理，生成梅爾頻譜圖序列。

根據(jù)本發(fā)明一實(shí)施方式，所述對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像，包括：針對(duì)所述梅爾頻譜圖序列中任一梅爾頻譜圖：對(duì)所述梅爾頻譜圖進(jìn)行圖像處理，生成預(yù)處理面部圖像；將多個(gè)所述預(yù)處理面部圖像進(jìn)行處理，生成與文本信息對(duì)應(yīng)的面部圖像。