[發明專利]一種構造單一人臉皮膚差異圖片對的方法

在審

• 申請號: 202111151893.6
• 申請日: 2021-09-29
• 公開（公告）號: CN113920005A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 盧海峰
• 申請（專利權）人: 杭州縵圖攝影有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/00;G06V40/16;G06V40/10;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 浙江億維律師事務所 33319
• 代理人: 王乃蒼

1.一種構造單一人臉皮膚差異圖片對的方法，其特征在于：包括以下步驟：

S1、取原始圖片，所述原始圖片的尺寸不小于128x128像素且不大于1024x1024像素，且所述原始圖片的尺寸為16的倍數，對原始圖片進行拷貝后得到A圖片，然后對A圖片進行磨皮、液化、調色操作后得到與A圖片有形變差異、紋理差異、顏色差異的B圖片；

S2、構建具有卷積神經網絡模型a的形變網格預測模塊a，取步驟S1中的原始圖片輸入到所述形變網格預測模塊a的卷積神經網絡模型a中，取步驟S1中的B圖片輸入到所述形變網格預測模塊a中，最終得到C圖片；

S3、將步驟S2得到的到C圖片輸入到人臉檢測模型中，獲取長方形人臉框，取長方形人臉框的最長邊來構建正方形人臉框，并根據構建出的正方形人臉框來裁剪B圖片和C圖片，得到人臉圖片A和人臉圖片B；

S4、構建具有卷積神經網絡模型b的形變網格預測模塊b，取步驟S3中的人臉圖片A輸入到所述形變網格預測模塊b的卷積神經網絡模型b中，取步驟S3中的人臉圖片B輸入到所述形變網格預測模塊b中，最終得到D圖片；

S5、分別構造具有卷積神經網絡模型c的人臉結構解析模塊和具有卷積神經網絡模型d的皮膚分割模塊，取D圖片并分別輸入到所述人臉結構解析模塊的卷積神經網絡模型c以及皮膚分割模塊的卷積神經網絡模型d中，得到具有眼睛、嘴巴、鼻子、耳朵、眉毛、人臉皮膚區域的第一掩膜和具有人臉和脖子區域的第二掩膜；

S6、通過第二掩膜對第一掩膜進行修正，得到具有的眼睛、嘴巴、人臉皮膚、脖子區域的修正掩膜；

S7、D圖片從修正掩膜里獲取眼睛和嘴巴之外的皮膚區域，并進行皮膚區域的輪廓羽化，得到羽化后的區域，將所述羽化后的區域貼回到B圖片中，所述羽化后的區域在B圖片中的位置與在D圖片中的位置保持一致，從而得到E圖片，所述E圖片和B圖片形成圖片對，完成對單一人臉皮膚差異圖片對的構造。

2.根據權利要求1所述的一種構造單一人臉皮膚差異圖片對的方法，其特征在于：所述步驟S2中的原始圖片、B圖片，所述步驟S3中的C圖片，所述步驟S4中的人臉圖片A和人臉圖片B在使用前皆先進行插值以及歸一化處理。

3.根據權利要求2所述的一種構造單一人臉皮膚差異圖片對的方法，其特征在于：所述插值以及歸一化處理具體為：將待插值的圖片插值成512x512像素的尺寸,得到插值圖片，然后將所述插值圖片中各個像素點的RGB值都除以127.5并減1，得到歸一化圖片。

4.根據權利要求1所述的一種構造單一人臉皮膚差異圖片對的方法，其特征在于：所述步驟S3中的人臉檢測模型為dlib庫中的人臉檢測模型。

5.根據權利要求3所述的一種構造單一人臉皮膚差異圖片對的方法，其特征在于：所述步驟S2中，所述卷積神經網絡模型a由4個編碼模塊A以及1個解碼模塊A組成，所述編碼模塊A將輸入的尺寸的長和寬縮小為原來的一半并輸出，所述解碼模塊A將輸入的尺寸的長和寬擴大為原來的兩倍并輸出，所述原始圖片依次經過4個編碼模塊A以及1個解碼模塊A。

6.根據權利要求3所述的一種構造單一人臉皮膚差異圖片對的方法，其特征在于：所述步驟S4中，所述卷積神經網絡模型b由4個編碼模塊B以及2個解碼模塊B組成，所述編碼模塊B將輸入的尺寸的長和寬縮小為原來的一半并輸出，所述解碼模塊B將輸入的圖片合并然后將合并后的圖片尺寸的長和寬擴大為原來的兩倍并輸出，所述人臉圖片A依次經過4個編碼模塊B以及2個解碼模塊B，且其中第3個編碼模塊B的輸出與第1個解碼模塊B的輸出同步輸入到第2個解碼模塊B中。