[發明專利]生成3D動畫的方法和裝置

有效

• 申請號: 201810756050.0
• 申請日: 2018-07-11
• 公開（公告）號: CN108961369B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 吳松城;陳軍宏
• 申請（專利權）人: 廈門黑鏡科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王學強

1.一種生成3D動畫的方法，包括：

獲取包括臉部圖像的照片，以及識別出所述照片中的臉部圖像；

根據所述臉部圖像重建3D模型；

對所述3D模型中的至少一個頂點與預設的至少一個骨骼點進行適配與綁定；

對于所述至少一個骨骼點中的骨骼點，驅動所述3D模型中該骨骼點綁定的頂點按照該骨骼點的預設的運動軌跡進行運動生成3D動畫；

其中，所述方法還包括：

獲取預設的3D的平面模型，使用所述照片對所述平面模型進行貼圖操作；

根據貼圖操作確定出所述照片和所述平面模型之間的第一關系，其中，所述第一關系包括以下至少一項：平移、旋轉、縮放；

從3D模型重建過程中獲取的所述臉部圖像的關鍵點與所述3D模型的關鍵點的對應關系中確定出所述3D模型和所述照片之間的第二關系；

根據所述第一關系和所述第二關系確定所述平面模型和所述3D模型之間的第三關系；

將所述平面模型和所述3D模型一起置入3D場景中；

根據所述第三關系對所述3D場景進行渲染。

2.根據權利要求1所述的方法，其中，所述識別出所述照片中的臉部圖像，包括：

通過深度神經網絡檢測出所述照片中的臉部圖像以及所述臉部圖像的類別。

3.根據權利要求2所述的方法，其中，所述根據所述臉部圖像重建3D模型，包括：

通過決策樹識別出所述臉部圖像的關鍵點；

根據所述關鍵點，采用3D形變模型對所述臉部圖像進行3D模型重建和貼圖處理，得到3D模型。

4.根據權利要求3所述的方法，其中，決策樹與臉部圖像的類別相對應；以及

所述通過決策樹識別出所述臉部圖像的關鍵點，包括：

根據所述臉部圖像的類別從預設的決策樹集合中選擇與所述類別對應的決策樹；

通過所選擇的決策樹識別出所述臉部圖像的關鍵點。

5.根據權利要求1所述的方法，其中，所述方法還包括：

獲取預先建立的牙齒模型；

根據所述3D模型中臉部的形狀和尺寸調整所述牙齒模型的形狀和尺寸，得到與所述3D模型匹配的待貼圖牙齒模型；

根據所述臉部圖像的灰度和/或亮度對所述待貼圖牙齒模型進行貼圖處理得到目標牙齒模型。

6.根據權利要求5所述的方法，其中，所述方法還包括：

根據所述3D模型中嘴唇的位置將所述目標牙齒模型綁定到所述3D模型中；

響應于檢測到在所述3D動畫中所述3D模型中的嘴唇張開，在所述3D動畫中顯示所述目標牙齒模型中未被所述嘴唇遮擋的部分。

7.一種電子設備，包括：處理器和存儲器；其中，

所述存儲器用于存儲程序；

所述處理器用于執行所述程序，以執行如下操作：

獲取包括臉部圖像的照片，以及識別出所述照片中的臉部圖像；

根據所述臉部圖像重建3D模型；

對所述3D模型中的至少一個頂點與預設的至少一個骨骼點進行適配與綁定；

對于所述至少一個骨骼點中的骨骼點，驅動所述3D模型中該骨骼點綁定的頂點按照該骨骼點的預設的運動軌跡進行運動生成3D動畫；

獲取預設的3D的平面模型，使用所述照片對所述平面模型進行貼圖操作；

根據貼圖操作確定出所述照片和所述平面模型之間的第一關系，其中，所述第一關系包括以下至少一項：平移、旋轉、縮放；

從3D模型重建過程中獲取的所述臉部圖像的關鍵點與所述3D模型的關鍵點的對應關系中確定出所述3D模型和所述照片之間的第二關系；

根據所述第一關系和所述第二關系確定所述平面模型和所述3D模型之間的第三關系；

將所述平面模型和所述3D模型一起置入3D場景中；

根據所述第三關系對所述3D場景進行渲染。

8.根據權利要求7所述的電子設備，其中，所述處理器還用于實現如權利要求2-6中任一所述的方法。

9.一種計算機可讀介質，其上存儲有計算機程序，其中，所述程序被處理器執行時實現如權利要求1-6中任一所述的方法。