[發明專利]一種三維人臉的圖像處理方法及裝置

在審

• 申請號: 201810508840.7
• 申請日: 2018-05-24
• 公開（公告）號: CN108898556A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 涂治國;李濤;張軒哲
• 申請（專利權）人: 麒麟合盛網絡技術股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T19/20;G06N3/04
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種三維人臉的圖像處理方法，其特征在于，應用于移動終端，所述方法包括：

接收對目標圖像中的人臉區域進行圖像處理的請求；

將所述目標圖像輸入預先訓練得到的沙漏網絡模型；其中，所述沙漏網絡模型是通過將深度網絡模型的殘差模塊進行二值化卷積處理得到的深度網絡模型，且所述沙漏網絡模型是基于三維人臉特征點數據庫訓練得到的；

基于所述沙漏網絡模型，定位所述人臉區域的三維特征點；

基于定位出的所述人臉區域的三維特征點，對所述人臉區域進行圖像處理。

2.根據權利要求1所述的方法，其特征在于，

所述殘差模塊具體包括多個卷積模塊，且所述卷積模塊為二值化位運算卷積模塊。

3.根據權利要求2所述的方法，其特征在于，

所述殘差模塊包括多個分支，每一所述分支上設置有至少一個所述卷積模塊，且所述殘差模塊的輸出值為所述多個分支的輸出值的連接。

4.根據權利要求3所述的方法，其特征在于，所述殘差模塊包括：第一分支、第二分支和第三分支，其中：

所述第一分支上設置有第一卷積模塊；

所述第二分支上設置有所述第一卷積模塊和第二卷積模塊，且所述第二卷積模塊的輸入值為所述第一卷積模塊的輸出值；

所述第三分支上設置有所述第一卷積模塊、所述第二卷積模塊和第三卷積模塊，且所述第二卷積模塊的輸入值為所述第一卷積模塊的輸出值，所述第三卷積模塊的輸入值為所述第二卷積模塊的輸出值；以及

所述第一卷積模塊、所述第二卷積模塊和所述第三卷積模塊的卷積核的大小均大于1。

5.根據權利要求1所述的方法，其特征在于，所述基于定位出的所述人臉區域的三維特征點，對所述人臉區域進行圖像處理，包括：

將UV圖的坐標與所述目標圖像中所述人臉區域的三維特征點的坐標對齊，所述UV圖為具有預設美妝紋理效果的圖像；

將所述UV圖投影到對齊后的所述目標圖像中。

6.根據權利要求5所述的方法，其特征在于，在所述將所述UV圖投影到對齊后的所述目標圖像中之前，所述方法還包括：

確定所述目標圖像中所述人臉區域的遮擋部分；

將所述UV圖中與所述遮擋部分對應的部分進行切除。

7.一種三維人臉的圖像處理裝置，其特征在于，應用于移動終端，所述裝置包括：

接收模塊，用于接收對目標圖像中的人臉區域進行圖像處理的請求；

輸入模塊，用于將所述目標圖像輸入預先訓練得到的沙漏網絡模型；其中，所述沙漏網絡模型是通過將深度網絡模型的殘差模塊進行二值化卷積處理得到的深度網絡模型，且所述沙漏網絡模型是基于三維人臉特征點數據庫訓練得到的；

定位模塊，用于基于所述沙漏網絡模型，定位所述人臉區域的三維特征點；

美妝模塊，用于基于定位出的所述人臉區域的三維特征點，對所述人臉區域進行圖像處理。

8.根據權利要求7所述的裝置，其特征在于，

所述殘差模塊具體包括多個卷積模塊，且所述卷積模塊為二值化位運算卷積模塊。

9.根據權利要求8所述的裝置，其特征在于，所述殘差模塊包括多個分支，每一所述分支上設置有至少一個所述卷積模塊，且所述殘差模塊的輸出值為所述多個分支的輸出值的連接。

10.根據權利要求9所述的裝置，其特征在于，所述殘差模塊包括：第一分支、第二分支和第三分支，其中：

所述第一分支上設置有第一卷積模塊；

所述第二分支上設置有所述第一卷積模塊和第二卷積模塊，且所述第二卷積模塊的輸入值為所述第一卷積模塊的輸出值；

所述第三分支上設置有所述第一卷積模塊、所述第二卷積模塊和第三卷積模塊，且所述第二卷積模塊的輸入值為所述第一卷積模塊的輸出值，所述第三卷積模塊的輸入值為所述第二卷積模塊的輸出值；以及

所述第一卷積模塊、所述第二卷積模塊和所述第三卷積模塊的卷積核的大小均大于1。