[發明專利]虛擬人像渲染方法、裝置以及存儲介質

在審

• 申請號: 202010630338.0
• 申請日: 2020-07-03
• 公開（公告）號: CN111814652A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 謝新林
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 朱穎;臧建明

1.一種虛擬人像渲染方法，其特征在于，應用于第一終端設備，包括：

所述第一終端設備采集待處理圖像；

所述第一終端設備根據所述待處理圖像，獲取所述待處理圖像中的人臉圖像；

所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像對應的表情參數，所述表情參數用于表征所述人臉圖像上各個肌肉動作的強烈程度；

所述第一終端設備將所述表情參數發送至第二終端設備，所述表情參數用于指示所述第二終端設備對虛擬人像的表情和動作進行渲染。

2.根據權利要求1所述的方法，其特征在于，所述第一終端設備將所述表情參數發送至第二終端設備之前，還包括：

所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像上關鍵點的位姿參數；

所述第一終端設備將所述表情參數發送至第二終端設備，包括：

所述第一終端設備將所述表情參數和所述位姿參數發送至第二終端設備，以使所述第二終端設備根據所述表情參數和所述位姿參數，對虛擬人像的表情和動作進行渲染。

3.根據權利要求2所述的方法，其特征在于，所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像上關鍵點的位姿參數，包括：

所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像上關鍵點的二維坐標；

所述第一終端設備根據所述人臉圖像上關鍵點的二維坐標，獲取所述人臉圖像上關鍵點的位姿參數。

4.根據權利要求2所述的方法，其特征在于，所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像上關鍵點的位姿參數，包括：

所述第一終端設備將所述人臉圖像輸入位姿估計模型；

將所述位姿估計模型的輸出結果確定為所述位姿參數。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述表情參數包括多個精細化運動單元AU值；

所述第一終端設備根據所述人臉圖像，獲取所述人臉圖像對應的表情參數，包括：

所述第一終端設備根據所述人臉圖像和表情特征提取模型，提取所述人臉圖像上不同肌肉動作的特征；

所述第一終端設備根據所述人臉圖像上不同肌肉動作的特征和表情估計模型，獲取所述多個精細化運動單元AU值。

6.根據權利要求5所述的方法，其特征在于，所述表情特征提取模型包括第一網絡塊、第二網絡塊、第三網絡塊、第四網絡塊、第五網絡塊、第六網絡塊和第七網絡塊；

所述第一網絡塊的通道數為16，所述第一網絡塊的擴張倍數為1，所述第一網絡塊的卷積步長為1，所述第一網絡塊的重復次數為1；

所述第二網絡塊的通道數為24，所述第二網絡塊的擴張倍數為6，所述第二網絡塊的卷積步長為2，所述第二網絡塊的重復次數為2；

所述第三網絡塊的通道數為32，所述第三網絡塊的擴張倍數為6，所述第三網絡塊的卷積步長為2，所述第三網絡塊的重復次數為3；

所述第四網絡塊的通道數為64，所述第四網絡塊的擴張倍數為6，所述第四網絡塊的卷積步長為1，所述第四網絡塊的重復次數為4；

所述第五網絡塊的通道數為96，所述第五網絡塊的擴張倍數為6，所述第五網絡塊的卷積步長為3，所述第五網絡塊的重復次數為2；

所述第六網絡塊的通道數為160，所述第六網絡塊的擴張倍數為6，所述第六網絡塊的卷積步長為2，所述第六網絡塊的重復次數為3；

所述第七網絡塊的通道數為320，所述第七網絡塊的擴張倍數為6，所述第七網絡塊的卷積步長為1，所述第七網絡塊的重復次數為1；

所述第一終端設備根據所述人臉圖像和表情特征提取模型，提取所述人臉圖像上不同肌肉動作的特征，包括：

將所述人臉圖像輸入所述第一網絡塊，依次經過所述第一網絡塊、第二網絡塊、第三網絡塊、第四網絡塊、第五網絡塊、第六網絡塊和第七網絡塊處理后，得到所述人臉圖像上不同肌肉動作的特征。