[發明專利]一種基于關鍵點修復圖像的人臉去口罩方法

在審

• 申請號: 202011507481.7
• 申請日: 2020-12-18
• 公開（公告）號: CN112633130A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 賈宇;曾兵;沈宜;張家亮;鄒嚴;趙露露
• 申請（專利權）人: 成都三零凱天通信實業有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 徐靜

本發明通過訓練對抗生成網絡GAN得到針對戴口罩情況的人臉關鍵點檢測模型和圖像生成模型，能保證大面積圖像丟失的情況下，生成圖像以人臉關鍵點、輪廓信息為指導的生成修復網絡，利用了上下文信息并連接了相關聯的特征圖，實現局部與總體的屬性一致，降低明顯的知覺缺陷，實現對人臉圖像中口、鼻、臉頰等面部區域被遮擋后修復，在鼻子、牙齒等細節部分都處理恰當，使得生成圖像逼近原圖，便于后期進行人臉識別。

技術領域

本發明涉及一種基于關鍵點修復圖像的人臉去口罩方法。

背景技術

人工智能技術迅猛發展，人臉識別應用已經日趨成熟，但這次疫情里遇到了一個新挑戰——戴口罩。基于原有的人臉識別算法，佩戴口罩會大大影響人臉識別準確率，如果為了識別而脫掉口罩，又會增加感染風險。在人臉識別領域中，佩戴口罩屬于大面積人臉遮擋，一直以來都是公認難題，人臉識別算法主要依據人臉面部特征進行身份判定，佩戴口罩進行識別時，致使人臉的一些表示特征缺失,大大降低了識別效果，是影響人臉檢測、識別的重要因素，它對人臉識別的影響遠遠超過了光照、表情的影響。因此，如何從根本上解決口罩遮擋問題在人臉識別研究領域極具價值。

發明內容

本發明旨在提供一種基于關鍵點修復圖像的人臉去口罩方法，以解決戴口罩人臉難以識別的問題。

本發明提供的一種基于關鍵點修復圖像的人臉去口罩方法，包括如下步驟：

步驟1，構建圖像生成模型：

(1)收集大規模人臉高清數據集以及若干戴口罩人臉圖像；

(2)使用所述若干戴口罩人臉圖像訓練圖像分割網絡得到口罩分割模型；

(3)將所述大規模人臉高清數據集通過針對無遮擋情況的第一人臉關鍵點檢測模型，提取第一人臉關鍵點；

(4)使用所述若干戴口罩人臉圖像訓練第一對抗生成網絡GAN得到針對戴口罩情況的第二人臉關鍵點檢測模型；

(5)將所述若干戴口罩人臉圖像通過第二人臉關鍵點檢測模型，提取第二人臉關鍵點；

(6)將大規模人臉高清數據集和第一人臉關鍵點作為訓練集，將若干戴口罩人臉圖像和第二人臉關鍵點作為測試集，利用訓練集和測試集訓練第二對抗生成網絡GAN，得到圖像生成模型；

步驟2，利用所述圖像生成模型進行人臉去口罩：

(1)將待處理的口罩遮擋圖像經過人臉檢測卷積神經網絡提取為戴口罩人臉圖像；

(2)將所述戴口罩人臉圖像通過所述口罩分割模型得到口罩分割圖像；

(3)將所述大規模人臉高清數據集與口罩分割圖像疊加，得到口罩部分缺失了的不完整人臉圖像；

(4)將所述口罩部分缺失了的不完整人臉圖像以及第一人臉關鍵點輸入圖像生成模型，得到去口罩人臉圖像。

進一步的，步驟1中使用所述若干戴口罩人臉圖像訓練圖像分割網絡得到口罩分割模型的方法為：采用標注工具標注出若干戴口罩人臉圖像中口罩部分；將標注出口罩部分的若干戴口罩人臉圖像輸入圖像分割網絡進行訓練，得到口罩分割模型。

進一步的，所述圖像分割網絡為segnet、u-net和fcn中的任意一種。

進一步的，步驟1中使用所述若干戴口罩人臉圖像訓練第一對抗生成網絡GAN得到針對戴口罩情況的第二人臉關鍵點檢測模型的方法為：采用標注工具標注出若干戴口罩人臉圖像中的人臉關鍵點，將標注出人臉關鍵點的若干戴口罩人臉圖像輸入第一對抗生成網絡GAN進行訓練得到針對戴口罩情況的第二人臉關鍵點檢測模型。

進一步的，所述第一人臉關鍵點檢測模型為dlib或face_aligment。