[發明專利]音視頻合成方法、服務器和可讀存儲介質

在審

• 申請號: 202310430441.4
• 申請日: 2023-04-13
• 公開（公告）號: CN116528016A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 張悅;王武城;董治;趙偉峰;姜濤
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: H04N21/81
• 分類號: H04N21/81
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 馮右明

1.一種音視頻合成方法，其特征在于，所述方法包括：

獲取目標用戶在進行錄唱行為時的音頻數據和視頻數據；所述視頻數據中包括所述目標用戶的動作行為；

提取所述視頻數據中所述目標用戶的用戶特征數據，并基于所述用戶特征數據生成三維動畫數據；所述用戶特征數據表征所述目標用戶的外在形態特征；所述三維動畫數據表征對應于所述目標用戶的虛擬動畫人物在模擬所述動作行為時的動畫數據；

基于所述音頻數據和所述三維動畫數據進行音頻-視頻合成，得到針對于所述錄唱行為的音樂動畫視頻。

2.根據權利要求1所述的方法，其特征在于，所述用戶特征數據包括所述目標用戶的人體特征、面部特征和手部特征；所述提取所述視頻數據中所述目標用戶的用戶特征數據，并基于所述用戶特征數據生成三維動畫數據，包括：

在所述視頻數據的多個視頻幀中，提取所述目標用戶的人體特征、面部特征和手部特征；

基于所述人體特征進行三維人體建模，得到針對所述虛擬動畫人物的虛擬人體模型；所述虛擬人體模型用于表征所述虛擬動畫人物在模擬所述多個視頻幀中的所述動作行為時的人體形態；以及

基于所述面部特征進行三維人臉建模，得到針對所述虛擬動畫人物的虛擬人臉模型；所述虛擬人臉模型用于表征所述虛擬動畫人物在模擬所述多個視頻幀中的所述動作行為時的面部形態；以及

基于所述手部特征進行三維手部建模，得到針對所述虛擬動畫人物的虛擬手部模型；所述虛擬手部模型用于表征所述虛擬動畫人物在模擬所述多個視頻幀中的所述動作行為時的手部形態；

對所述虛擬人體模型、所述虛擬人臉模型和所述虛擬手部模型進行模型融合，生成所述三維動畫數據。

3.根據權利要求2所述的方法，其特征在于，所述基于所述人體特征進行三維人體建模，得到針對所述虛擬動畫人物的虛擬人體模型，包括：

基于所述人體特征對待建模的虛擬人體模型進行人體形態預測，得到預測人體形態序列；在所述預測人體形態序列中包括對應于所述多個視頻幀的多個預測人體形態參數，所述預測人體形態參數包括預測形狀參數和預測姿態參數；

基于預設的真實人體形態序列對所述預測人體形態序列進行調整，得到與所述真實人體形態序列之間的差異程度小于預設程度的修正人體形態序列；

基于所述修正預測人體形態序列生成所述虛擬人體模型。

4.根據權利要求2所述的方法，其特征在于，所述面部特征包括人臉外輪廓特征和人臉五官特征；

所述基于所述面部特征進行三維人臉建模，得到針對所述虛擬動畫人物的虛擬人臉模型，包括：

基于所述人臉外輪廓特征和所述人臉五官特征進行三維人臉重建，得到人臉形態序列；所述人臉姿態序列表征所述虛擬動畫人物在模擬所述多個視頻幀中的所述動作行為時的人臉形狀和人臉姿態；以及

基于所述人臉外輪廓特征和所述人臉五官特征對所述多個視頻幀中所述目標用戶的人臉圖像進行融合形變處理，得到人臉表情序列；所述融合形變處理用于將所述目標用戶的人臉表情改變為所述虛擬動畫人物的人臉表情；

對所述人臉形態序列和所述人臉表情序列進行融合，并利用融合得到的人臉形態-人臉表情序列生成所述虛擬人臉模型。

5.根據權利要求2所述的方法，其特征在于，所述基于所述手部特征進行三維手部建模，得到針對所述虛擬動畫人物的虛擬手部模型，包括：

基于所述手部形態特征對所述多個視頻幀中所述目標用戶的手部圖像進行手部節點定位，確定針對所述虛擬動畫人物的手部主體坐標和手部關節坐標；

基于所述手部主體坐標和所述手部關節坐標，確定所述虛擬動畫人物在模擬所述多個視頻幀中的所述動作行為時的手指彎曲程度；

基于所述手指彎曲程度對所述虛擬動畫人物進行手勢預測，得到預測手勢序列，并利用所述預測手勢序列生成所述虛擬手型模型。