[發明專利]一種視頻合成的方法、模型訓練的方法以及相關裝置

有效

• 申請號: 201910169985.3
• 申請日: 2019-03-06
• 公開（公告）號: CN109951654B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 黃浩智;成昆;袁春;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N5/272
• 分類號: H04N5/272;H04N5/265;H04N5/262;G06K9/62;G06V40/20;G06V10/764
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種視頻合成的方法，其特征在于，包括：

獲取第一待合成視頻的K幀源圖像信息，其中，每幀圖像信息包括源圖像以及源動作關鍵點，所述源圖像與所述源動作關鍵點具有對應關系，所述源圖像包括遷移對象，所述K為大于1的整數；

獲取第二待合成視頻的多幀目標圖像信息，其中，每幀目標圖像信息包括目標動作關鍵點，所述第二待合成視頻對應于動作參照序列，所述動作參照序列用于指示視頻合成的圖像順序；

通過視頻合成模型獲取所述K幀源圖像信息與第一目標動作關鍵點所對應的第一輸出圖像，其中，所述視頻合成模型用于對所述源圖像、所述源動作關鍵點以及所述目標動作關鍵點進行融合處理，所述第一輸出圖像包括所述遷移對象，所述第一目標動作關鍵點屬于所述多幀目標圖像信息中的一個目標動作關鍵點；

其中，所述通過視頻合成模型獲取所述K幀源圖像信息與第一目標動作關鍵點所對應的第一輸出圖像，包括：

通過所述視頻合成模型對所述K幀源圖像信息以及所述第一目標動作關鍵點進行特征提取，得到前景特征集合以及背景特征集合；

通過所述視頻合成模型獲取所述前景特征集合所對應的前景融合特征；

通過所述視頻合成模型獲取所述背景特征集合所對應的背景融合特征；

通過所述視頻合成模型對所述前景融合特征進行卷積處理，得到前景圖像以及前景遮罩，其中，所述前景遮罩用于提取圖像輪廓；

通過所述視頻合成模型對所述背景融合特征進行卷積處理，得到背景圖像；

通過所述視頻合成模型對所述前景圖像、所述前景遮罩以及所述背景圖像進行處理，得到所述第一輸出圖像；根據所述動作參照序列以及所述第一輸出圖像生成合成視頻。

2.根據權利要求1所述的方法，其特征在于，通過所述視頻合成模型獲取所述前景特征集合所對應的前景融合特征，包括：

根據前景特征集合、所述K幀源圖像信息中所述每幀圖像信息的源動作關鍵點以及所述第一目標動作關鍵點，確定K幀前景注意力遮罩圖；

根據所述K幀前景注意力遮罩圖以及所述前景特征集合，確定所述前景融合特征。

3.根據權利要求2所述的方法，其特征在于，所述根據所述K幀前景注意力遮罩圖以及所述前景特征集合，確定所述前景融合特征，包括：

采用如下方式計算所述前景融合特征：

其中，所述表示所述前景融合特征，所述表示所述前景特征集合中的第k幀前景特征，所述表示所述K幀前景注意力遮罩圖中的第k幀前景注意力遮罩圖，所述⊙表示像素的乘法。

4.根據權利要求1所述的方法，其特征在于，所述通過所述視頻合成模型獲取所述背景特征集合所對應的背景融合特征，包括：

根據背景特征集合、所述K幀源圖像信息中所述每幀圖像信息的源動作關鍵點以及所述第一目標動作關鍵點，確定K幀背景注意力遮罩圖；

根據所述K幀背景注意力遮罩圖以及所述背景特征集合，確定所述背景融合特征。

5.根據權利要求4所述的方法，其特征在于，所述根據所述K幀背景注意力遮罩圖以及所述背景特征集合，確定所述背景融合特征，包括：

采用如下方式計算所述背景融合特征：

其中，所述表示所述背景融合特征，所述表示所述背景特征集合中的第k幀背景特征，所述表示所述K幀背景注意力遮罩圖中的第k幀背景注意力遮罩圖，所述⊙表示像素的乘法。

6.根據權利要求1所述的方法，其特征在于，所述通過所述視頻合成模型對所述前景圖像、所述前景遮罩以及所述背景圖像進行處理，得到所述第一輸出圖像，包括：

采用如下方式計算所述第一輸出圖像：

其中，所述O^t表示第t幀對應的所述第一輸出圖像，所述表示所述第t幀對應的所述前景圖像，所述表示所述第t幀對應的所述背景圖像，所述表示所述第t幀對應的所述前景遮罩，所述⊙表示像素的乘法。