[發(fā)明專利]一種基于文本信息生成說話人視頻的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011577254.1
• 申請(qǐng)日: 2020-12-28
• 公開（公告）號(hào): CN112735371B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 張旭;楊喜鵬;殷昊;江明奇;陳云琳
• 申請(qǐng)（專利權(quán)）人: 北京羽扇智信息科技有限公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L25/24;G06V40/16;G06F40/289;G06F40/30;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京樂知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 江宇

1.一種基于文本信息生成說話人視頻的方法，其特征在于，包括：

對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列；

對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像；

對(duì)所述梅爾頻譜圖序列進(jìn)行語音處理，生成與文本信息對(duì)應(yīng)的語音信息；

對(duì)所述面部圖像和所述語音信息進(jìn)行合成處理，生成說話人視頻；

其中，對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像，包括：

針對(duì)所述梅爾頻譜圖序列中任一梅爾頻譜圖：對(duì)所述梅爾頻譜圖進(jìn)行圖像處理，生成預(yù)處理面部圖像；

將多個(gè)所述預(yù)處理面部圖像進(jìn)行處理，生成與文本信息對(duì)應(yīng)的面部圖像；

所述對(duì)所述梅爾頻譜圖進(jìn)行圖像處理，生成預(yù)處理面部圖像，包括：

對(duì)所述梅爾頻譜圖進(jìn)行處理，得到整個(gè)面部對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列，所述第一關(guān)鍵點(diǎn)序列包括多個(gè)第一關(guān)鍵點(diǎn)子序列，每個(gè)所述第一關(guān)鍵點(diǎn)子序列對(duì)應(yīng)面部中指定部位；

根據(jù)所述文本信息，從數(shù)據(jù)庫查詢與所述文本信息對(duì)應(yīng)的指定動(dòng)作幀，并獲取所述指定動(dòng)作幀對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列；所述指定動(dòng)作幀用于指示面部指定部位的動(dòng)作幀；

確定與所述指定動(dòng)作幀對(duì)應(yīng)的第一關(guān)鍵點(diǎn)子序列，并在所述第一關(guān)鍵點(diǎn)序列中利用所述第二關(guān)鍵點(diǎn)序列替換所述對(duì)應(yīng)的第一關(guān)鍵點(diǎn)子序列，生成替換的第一關(guān)鍵點(diǎn)序列；

對(duì)所述替換的第一關(guān)鍵點(diǎn)序列進(jìn)行模型處理，生成預(yù)處理面部圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列，包括：

對(duì)所述文本信息進(jìn)行預(yù)處理，生成音素向量；

對(duì)所述音素向量進(jìn)行語義特征提取處理，得到語義向量；

對(duì)所述語義向量進(jìn)行時(shí)序特征提取處理，生成時(shí)序向量；

對(duì)所述時(shí)序向量進(jìn)行解碼處理，生成梅爾頻譜圖序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述文本信息進(jìn)行預(yù)處理，生成音素向量，包括：

對(duì)所述文本信息進(jìn)行分詞處理，得到單詞；

對(duì)所述單詞進(jìn)行拼音處理，得到與所述單詞對(duì)應(yīng)的拼音；

對(duì)所述拼音進(jìn)行分割處理，生成音素信息；

對(duì)所述音素信息進(jìn)行編碼處理，生成音素向量。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述時(shí)序向量進(jìn)行解碼處理，生成梅爾頻譜圖序列，包括：

對(duì)所述時(shí)序向量施加特征權(quán)重，得到具有權(quán)重的特征向量；

對(duì)所述具有權(quán)重的特征向量進(jìn)行解碼處理，生成梅爾頻譜圖序列。

5.一種基于文本信息生成說話人視頻的裝置，其特征在于，包括：

語音合成模塊，用于對(duì)文本信息進(jìn)行語音合成處理，生成梅爾頻譜圖序列；

圖像處理模塊，用于對(duì)所述梅爾頻譜圖序列進(jìn)行圖像處理，生成與文本信息對(duì)應(yīng)的面部圖像；

語音處理模塊，用于對(duì)所述梅爾頻譜圖序列進(jìn)行語音處理，生成與文本信息對(duì)應(yīng)的語音信息；

視頻合成模塊，用于對(duì)所述面部圖像和所述語音信息進(jìn)行合成處理，生成說話人視頻；

其中，所述圖像處理模塊包括：

第一圖像處理單元，用于針對(duì)所述梅爾頻譜圖序列中任一梅爾頻譜圖：對(duì)所述梅爾頻譜圖進(jìn)行圖像處理，生成預(yù)處理面部圖像；

第二圖像處理單元，將多個(gè)所述預(yù)處理面部圖像進(jìn)行處理，生成與文本信息對(duì)應(yīng)的面部圖像；

所述第一圖像處理單元包括：

面部關(guān)鍵點(diǎn)子單元，用于對(duì)所述梅爾頻譜圖進(jìn)行處理，得到整個(gè)面部對(duì)應(yīng)的第一關(guān)鍵點(diǎn)序列，所述第一關(guān)鍵點(diǎn)序列包括多個(gè)第一關(guān)鍵點(diǎn)子序列，每個(gè)所述第一關(guān)鍵點(diǎn)子序列對(duì)應(yīng)面部中指定部位；

查詢子單元，用于根據(jù)所述文本信息，從數(shù)據(jù)庫查詢與所述文本信息對(duì)應(yīng)的指定動(dòng)作幀，并獲取所述指定動(dòng)作幀對(duì)應(yīng)的第二關(guān)鍵點(diǎn)序列；所述指定動(dòng)作幀用于指示面部指定部位的動(dòng)作幀；

替換子單元，用于確定與所述指定動(dòng)作幀對(duì)應(yīng)的第一關(guān)鍵點(diǎn)子序列，并在所述第一關(guān)鍵點(diǎn)序列中利用所述第二關(guān)鍵點(diǎn)序列替換所述對(duì)應(yīng)的第一關(guān)鍵點(diǎn)子序列，生成替換的第一關(guān)鍵點(diǎn)序列；

模型處理子單元，用于對(duì)所述替換的第一關(guān)鍵點(diǎn)序列進(jìn)行模型處理，生成預(yù)處理面部圖像。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述語音合成模塊包括：

預(yù)處理單元，用于對(duì)所述文本信息進(jìn)行預(yù)處理，生成音素向量；

語義提取單元，用于對(duì)所述音素向量進(jìn)行語義特征提取處理，生成語義向量；

時(shí)序提取單元，用于對(duì)所述語義向量進(jìn)行時(shí)序特征提取處理，生成時(shí)序向量；

解碼單元，用于對(duì)所述時(shí)序向量進(jìn)行解碼處理，生成梅爾頻譜圖序列。