[發明專利]一種3D虛擬形象的生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010324047.9
• 申請日: 2020-04-22
• 公開（公告）號: CN111681302A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 王銀輝
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/00;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 盧萬騰;李雪

本申請涉及一種3D虛擬形象的生成方法、裝置、電子設備及存儲介質。該技術方案通過視頻中2D形象的2D骨骼數據計算出相應的3D骨骼數據，從而驅動2D形象對應的3D虛擬形象進行運動。這樣，無需訓練用于采集3D骨骼數據的機器學習算法，根據視頻就可直接準確地驅動虛擬形象運動，且避免直接計算3D骨骼數據對系統資源消耗過大，降低CPU的占用率，針對動作復雜且時間較長的骨骼動畫具有顯著的性能優勢。

技術領域

本申請涉及計算機圖形處理技術領域，尤其涉及一種3D虛擬形象的生成方法、裝置、電子設備及存儲介質。

背景技術

隨著3D計算機動畫技術的發展，虛擬形象在游戲、AR、VR、MR等領域運用越來越廣泛。

目前，虛擬形象的繪制常用骨骼動畫來實現。在骨骼動畫中，模型具有互相連接的“骨骼”組成的骨架結構，通過改變骨骼的朝向和位置來為模型生成動畫。

但是，現有機器學習算法學習到的是2D骨骼的位置，如何通過2D骨骼位置的變化驅動虛擬形象運動，是目前急需解決的技術問題。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請實施例提供了一種3D虛擬形象的生成方法、裝置、電子設備及存儲介質。

第一方面，本申請實施例提供了一種3D虛擬形象的生成方法，包括：

采集2D視頻的視頻幀中2D形象的第一2D骨骼位置信息；

獲取所述第一2D骨骼位置信息相對于第一3D骨骼位置信息的映射矩陣，所述映射矩陣根據初始2D骨架及初始3D骨架生成；

根據所述映射矩陣將所述第一2D骨骼位置信息轉換為第一3D骨骼位置信息；

根據所述第一3D骨骼位置信息及所述初始3D骨架的第二3D骨骼位置信息計算骨骼變化信息；

根據所述第一3D骨骼位置信息及所述骨骼變化信息確定3D骨骼數據；

根據所述3D骨骼數據及所述初始3D骨架確定所述2D形象對應的3D虛擬形象。

可選的，所述方法還包括：

構建所述初始2D骨架對應的第一2D骨骼包圍盒及所述初始3D骨架對應的3D骨骼包圍盒；

根據所述第一2D骨骼包圍盒和3D骨骼包圍盒計算所述映射矩陣。

可選的，所述根據所述第一2D骨骼包圍盒和3D骨骼包圍盒計算所述映射矩陣，包括：

將所述3D骨骼包圍盒的深度坐標值設置為相同，得到第二2D骨骼包圍盒；

獲取所述第一2D骨骼包圍盒上預設個數的第一預設位置點，及所述第二2D骨骼包圍盒上所述預設個數的第二預設位置點，所述第一預設位置點在所述第一2D骨骼包圍盒上的位置與所述第二預設位置點在所述第二2D骨骼包圍盒上的位置相同；

根據所述第一預設位置點和第二預設位置點的坐標計算所述映射矩陣。

可選的，在所述構建所述初始2D骨架對應的第一2D骨骼包圍盒及所述初始3D骨架對應的3D骨骼包圍盒之前，所述方法還包括：

識別所述視頻幀中的2D形象；

當確定所述2D形象處于預設狀態時，創建所述初始2D骨架和所述初始3D骨架。

可選的，根據所述映射矩陣將所述第一2D骨骼位置信息轉換為所述第一3D骨骼位置信息，包括：

從根骨骼遍歷所述2D形象的2D骨架；

將所述2D骨架中骨骼的第一2D骨骼位置信息乘以所述映射矩陣，得到所述骨骼對應的所述第一3D骨骼位置信息。