[發明專利]多風格唇形合成方法、裝置、設備及存儲介質

在審

• 申請號: 202110807540.0
• 申請日: 2021-07-16
• 公開（公告）號: CN114022597A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 吳昊哲;賈珈;竇義順;段超;鄧清珊
• 申請（專利權）人: 清華大學;華為技術有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G10L15/08;G10L25/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 茍冬梅

1.一種多風格唇形合成方法，其特征在于，所述方法包括：

將目標臉像、短時唇形風格視頻以及目標音頻輸入多風格唇形合成網絡中；

所述多風格唇形合成網絡通過所述目標臉像、所述短時唇形風格視頻以及所述目標音頻，得到表情預測參數以及目標臉像的形狀參數；

將所述表情預測參數與所述形狀參數進行結合，得到目標風格的說話人動畫。

2.根據權利要求1所述的方法，其特征在于，所述說多風格唇形合成網絡是經過訓練得到的，訓練步驟包括：

收集包含單個說話人的短時說話視頻；

提取所述短時說話視頻對應的音頻以及所述短時說話視頻中說話人的臉像；

將所述短時說話視頻、所述短時說話視頻對應的音頻以及所述短時說話視頻中說話人的臉像輸入所述多風格唇形合成網絡中，對所述多風格唇形合成網絡進行訓練，得到訓練好的多風格唇形合成網絡。

3.根據權利要求1所述的方法，其特征在于，所述多風格唇形合成網絡通過所述目標臉像、所述短時唇形風格視頻以及所述目標音頻，得到表情預測參數以及目標人臉的形狀參數，包括：

對所述目標臉像進行特征提取，得到所述人臉形狀參數；

將所述短時唇形風格視頻的特征和所述目標音頻的特征進行特征融合，得到所述表情預測參數。

4.根據權利要求3所述的方法，其特征在于，將所述短時唇形風格視頻的特征和所述目標音頻的特征進行特征融合，得到所述表情預測參數，包括：

對所述短時唇形視頻進行特征提取，得到唇形風格特征；

對所述目標音頻進行特征提取，得到音頻特征；

將所述音頻特征與所述唇型風格特征進行融合，得到所述表情預測參數。

5.根據權利要求4所述的方法，其特征在于，所述唇形風格特征的表達式為：

其中，style code表示唇形風格特征，expression(t)表示表情參數序列，σ(expression(t))表示時域上方差的計算，表示偏導，表示向量拼接。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將與所述短時唇形風格視頻中的風格不同的另一段短時唇形風格視頻輸入所述多風格唇形合成網絡中；

所述多風格唇形合成網絡根據所述另一段短時唇形風格視頻，生成與該視頻對應的說話人動畫。

7.一種多風格唇形合成裝置，其特征在于，所述裝置包括：

數據輸入模塊，用于將目標臉像、短時唇形風格視頻以及目標音頻輸入多風格唇形合成網絡中；

參數提取模塊，用于所述多風格唇形合成網絡通過所述目標臉像、所述短時唇形風格視頻以及所述目標音頻，得到表情預測參數以及目標臉像的形狀參數；

第一動畫生成模塊，用于將所述表情預測參數與所述形狀參數進行結合，得到目標風格的說話人動畫。

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時，實現如權利要求1至6任一所述的方法中的步驟。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時，實現如權利要求1至6任一所述的方法的步驟。