[發明專利]動畫生成方法、裝置、系統及存儲介質

有效

• 申請號: 202011023780.3
• 申請日: 2020-09-25
• 公開（公告）號: CN111968207B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 柴金祥;其他發明人請求不公開姓名
• 申請（專利權）人: 魔琺（上海）信息科技有限公司;上海墨舞科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/20;G06T13/80;G06T7/246;G06T7/292;G06T7/73
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種動畫生成方法，其特征在于，所述方法包括：

獲取真實對象的真實特征數據，所述真實特征數據包括所述真實對象在表演過程中的動作數據和面部數據；

根據所述真實特征數據確定虛擬角色的目標特征數據，所述虛擬角色為預設的動畫模型，所述目標特征數據包括所述虛擬角色的動作數據和面部數據；

根據所述目標特征數據，生成所述虛擬角色的動畫；

所述根據所述真實特征數據確定虛擬角色的目標特征數據，包括：

將所述真實特征數據轉化為虛擬對象的虛擬特征數據，所述虛擬對象為對所述真實對象進行還原重建得到的虛擬模型，所述虛擬特征數據包括所述虛擬對象的動作數據和面部數據；

將所述虛擬特征數據進行重定向處理得到所述虛擬角色的所述目標特征數據；

所述將所述虛擬特征數據進行重定向處理得到所述虛擬角色的所述目標特征數據，包括：

調用第二預設面部處理模型，將所述虛擬對象的面部數據進行重定向處理，得到所述虛擬角色的面部數據，所述面部數據包括表情數據和/或眼神數據；其中，所述第二預設面部處理模型為預先訓練的神經網絡模型，表示所述虛擬對象的面部數據與所述虛擬角色的面部數據之間的相關關系；

所述方法還包括：獲取參考數據，所述參考數據包括所述真實對象在表演過程中的聲音錄制數據和虛擬相機位姿數據；

所述獲取參考數據，包括：在所述真實對象的表演過程中，同步捕捉一個虛擬相機，對虛擬相機的位姿和運動軌跡進行記錄得到虛擬相機位姿數據；

所述虛擬相機位姿數據包括：虛擬相機位置、虛擬相機方向、虛擬相機的焦距參數；所述虛擬相機位姿數據用于指示待生成的動畫畫面的預覽相機視角；

根據所述目標特征數據，生成所述虛擬角色的動畫，包括：根據所述目標特征數據和所述參考數據，生成所述虛擬角色的動畫。

2.根據權利要求1所述的方法，其特征在于，所述目標特征數據和所述參考數據均攜帶有時間碼，所述根據所述目標特征數據和所述參考數據，生成所述虛擬角色的動畫，包括：

根據所述目標特征數據和所述參考數據各自對應的所述時間碼，將所述目標特征數據和所述參考數據進行對齊處理；

根據對齊處理后的所述目標特征數據和所述參考數據，生成所述虛擬角色的動畫。

3.根據權利要求2所述的方法，其特征在于，所述根據對齊處理后的所述目標特征數據和所述參考數據，生成所述虛擬角色的動畫，包括：

在對齊處理后根據所述虛擬相機位姿數據和所述目標特征數據，得到動畫畫面；

對所述動畫畫面進行渲染得到渲染結果；

根據所述渲染結果和所述聲音錄制數據，生成所述虛擬角色的動畫視頻。

4.根據權利要求1所述的方法，其特征在于，所述獲取真實對象的真實特征數據，包括：

獲取所述真實對象的所述動作數據，所述動作數據包括肢體動作數據和/或手勢動作數據；以及，

獲取所述真實對象的所述面部數據，所述面部數據包括表情數據和/或眼神數據。

5.根據權利要求4所述的方法，其特征在于，所述獲取所述真實對象的所述動作數據，包括：

獲取所述真實對象的肢體上預設的多個光學標記點各自對應的位置數據，根據所述多個光學標記點各自對應的所述位置數據確定所述真實對象的所述肢體動作數據；和/或，

獲取所述真實對象的手部上預設的多個光學標記點各自對應的位置數據，根據所述多個光學標記點各自對應的所述位置數據確定所述真實對象的所述手勢動作數據。

6.根據權利要求4所述的方法，其特征在于，所述獲取所述真實對象的所述面部數據，包括：

獲取所述真實對象的面部視頻幀，所述面部視頻幀為包括所述真實對象的面部的視頻幀，所述面部視頻幀用于指示所述真實對象的所述面部數據。

7.根據權利要求1所述的方法，其特征在于，所述將所述虛擬特征數據進行重定向處理得到所述虛擬角色的所述目標特征數據，包括：

將所述虛擬對象的動作數據進行重定向處理，得到所述虛擬角色的動作數據，所述動作數據包括肢體動作數據和/或手勢動作數據。