[發明專利]說話視頻生成方法及裝置

有效

• 申請號: 202110532690.5
• 申請日: 2021-05-14
• 公開（公告）號: CN113449590B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 張智勐;李林橙;丁彧;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V40/20;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06T9/00;G06T17/00;G10L19/16
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種說話視頻生成方法，其特征在于，包括：

基于待生成的說話視頻對應的語音幀序列以及參考圖像，確定所述語音幀序列中每個語音幀對應的運動參數；

基于所述參考圖像、預設人臉模型、以及每個所述語音幀對應的運動參數，確定每個所述語音幀對應的稠密運動場；

基于所述參考圖像和每個所述語音幀對應的稠密運動場，生成所述待生成的說話視頻中與每個所述語音幀對應的幀圖像；

基于所述參考圖像、預設人臉模型、以及每個所述語音幀對應的運動參數，確定每個所述語音幀對應的稠密運動場，包括：

基于每個所述語音幀對應的運動參數調整所述預設人臉模型得到每個所述語音幀對應的人臉模型；

將每個所述語音幀對應的人臉模型投影到所述參考圖像中，得到每個所述語音幀對應的投影圖像；

基于每個所述語音幀對應的投影圖像確定每個所述語音幀對應的稠密運動場。

2.根據權利要求1所述的方法，其特征在于，所述基于待生成的說話視頻對應的語音幀序列以及參考圖像，確定所述語音幀序列中每個語音幀對應的運動參數，包括：

基于預先訓練的人臉識別模型對參考圖像進行人臉識別，得到人臉特征；

基于預先訓練的語音特征提取器對待生成的說話視頻對應的語音幀序列中的每個語音幀進行特征提取，得到每個所述語音幀對應的語音特征；

將每個所述語音幀對應的語音特征與所述人臉特征進行融合，得到每個所述語音幀對應的融合特征；

基于每個所述語音幀對應的融合特征，確定每個所述語音幀對應的運動參數。

3.根據權利要求2所述的方法，其特征在于，將每個所述語音幀對應的語音特征與所述人臉特征進行融合，得到每個所述語音幀對應的融合特征，包括：

基于預先訓練的全連接網絡以及所述人臉特征，確定自適應實例歸一化的參數；

將每個所述語音幀對應的語音特征與所述自適應實例歸一化的參數進行融合，得到每個所述語音幀對應的融合特征。

4.根據權利要求2所述的方法，其特征在于，運動參數包括嘴唇運動參數、表情運動參數以及頭部運動參數；所述基于每個所述語音幀對應的融合特征，確定每個所述語音幀對應的運動參數，包括：

基于每個所述語音幀對應的融合特征和預先訓練的運動參數識別模型中的嘴唇運動分支，確定每個所述語音幀對應的嘴唇運動參數；

基于每個所述語音幀對應的融合特征和預先訓練的運動參數識別模型中的長時依賴解碼器和表情運動分支，確定每個所述語音幀對應的表情運動參數；

基于每個所述語音幀對應的融合特征和預先訓練的運動參數識別模型中的長時依賴解碼器和頭部運動分支，確定每個所述語音幀對應的頭部運動參數。

5.根據權利要求1所述的方法，其特征在于，投影圖像包括面部區域、軀干區域以及除所述面部區域和所述軀干區域以外的其他區域。

6.根據權利要求5所述的方法，其特征在于，所述基于每個所述語音幀對應的投影圖像確定每個所述語音幀對應的稠密運動場包括：

基于每個所述語音幀對應的投影圖像與上一語音幀對應的投影圖像之間的差別，確定每個所述語音幀對應的第一稠密運動場；

基于每個所述語音幀對應的第一稠密運動場確定每個語音幀對應的面部區域的稠密運動場；

基于每個語音幀對應的第一稠密運動場，確定頭部區域的平均運動場，并基于所述頭部區域的平均運動場確定每個所述語音幀對應的軀干區域稠密運動場；

基于每個所述語音幀對應的面部區域中面部區域邊緣的稠密運動場，確定每個所述語音幀對應的其他區域的稠密運動場；

基于每個所述語音幀對應的面部區域的稠密運動場、軀干區域稠密運動場和其他區域的稠密運動場，確定每個所述語音幀對應的稠密運動場。

7.根據權利要求6所述的方法，其特征在于，所述面部區域與所述頭部區域為同一區域。