[發明專利]一種基于關鍵點修復圖像的人臉去口罩方法

在審

• 申請號: 202011507481.7
• 申請日: 2020-12-18
• 公開（公告）號: CN112633130A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 賈宇;曾兵;沈宜;張家亮;鄒嚴;趙露露
• 申請（專利權）人: 成都三零凱天通信實業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 徐靜

1.一種基于關鍵點修復圖像的人臉去口罩方法，其特征在于，包括如下步驟：

步驟1，構建圖像生成模型：

(1)收集大規模人臉高清數據集以及若干戴口罩人臉圖像；

(2)使用所述若干戴口罩人臉圖像訓練圖像分割網絡得到口罩分割模型；

(3)將所述大規模人臉高清數據集通過針對無遮擋情況的第一人臉關鍵點檢測模型，提取第一人臉關鍵點；

(4)使用所述若干戴口罩人臉圖像訓練第一對抗生成網絡GAN得到針對戴口罩情況的第二人臉關鍵點檢測模型；

(5)將所述若干戴口罩人臉圖像通過第二人臉關鍵點檢測模型，提取第二人臉關鍵點；

(6)將大規模人臉高清數據集和第一人臉關鍵點作為訓練集，將若干戴口罩人臉圖像和第二人臉關鍵點作為測試集，利用訓練集和測試集訓練第二對抗生成網絡GAN，得到圖像生成模型；

步驟2，利用所述圖像生成模型進行人臉去口罩：

(1)將待處理的口罩遮擋圖像經過人臉檢測卷積神經網絡提取為戴口罩人臉圖像；

(2)將所述戴口罩人臉圖像通過所述口罩分割模型得到口罩分割圖像；

(3)將所述大規模人臉高清數據集與口罩分割圖像疊加，得到口罩部分缺失了的不完整人臉圖像；

(4)將所述口罩部分缺失了的不完整人臉圖像以及第一人臉關鍵點輸入圖像生成模型，得到去口罩人臉圖像。

2.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，步驟1中使用所述若干戴口罩人臉圖像訓練圖像分割網絡得到口罩分割模型的方法為：采用標注工具標注出若干戴口罩人臉圖像中口罩部分；將標注出口罩部分的若干戴口罩人臉圖像輸入圖像分割網絡進行訓練，得到口罩分割模型。

3.根據權利要求2所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述圖像分割網絡為segnet、u-net和fcn中的任意一種。

4.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，步驟1中使用所述若干戴口罩人臉圖像訓練第一對抗生成網絡GAN得到針對戴口罩情況的第二人臉關鍵點檢測模型的方法為：采用標注工具標注出若干戴口罩人臉圖像中的人臉關鍵點，將標注出人臉關鍵點的若干戴口罩人臉圖像輸入第一對抗生成網絡GAN進行訓練得到針對戴口罩情況的第二人臉關鍵點檢測模型。

5.根據權利要求4所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述第一人臉關鍵點檢測模型為dlib或face_aligment。

6.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述人臉檢測卷積神經網絡為MTCNN或FaceNet。

7.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述大規模人臉高清數據集為celeb-hq人臉高清數據集。

8.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述人臉去口罩方法中涉及的圖像均需要處理為統一尺寸。

9.根據權利要求8所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述人臉去口罩方法中涉及的圖像的統一尺寸為256×256像素。

10.根據權利要求1所述的基于關鍵點修復圖像的人臉去口罩方法，其特征在于，所述第一人臉關鍵點按文件名稱保存為txt文件。