[發明專利]基于GLD-GAN的不規則人臉矯正方法、系統及介質

有效

• 申請號: 201910575810.2
• 申請日: 2019-06-28
• 公開（公告）號: CN110363116B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 孫錟鋒;蔣興浩;許可;陸翼龍
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/00;G06T3/40;G06T5/00;G06T7/11;G06T7/90
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 莊文莉

本發明提供了一種基于GLD?GAN的不規則人臉矯正方法、系統及介質，包括：步驟S1：識別并截取圖像中的人臉，獲得人臉圖P₀；步驟S2：根據獲得的人臉圖P₀，采用基于CRF?RNN的圖像分割技術剔除背景冗余；步驟S3：采用Inception模型進行圖像分類，將側臉按照角度分為多個類；步驟S4：訓練每個類的GLD?GAN模型。本發明將生成對抗網絡技術應用于側臉的規則化研究，通過對抗學習實現單張側臉到相應正臉的轉化，同時將側臉規則化方法與超分辨率重建技術結合，實現多姿態、不同光照條件下的側臉人像到高質量正臉視圖的端到端映射。

技術領域

本發明涉及圖像識別技術領域，具體地，涉及基于GLD-GAN的不規則人臉矯正方法、系統及介質。

背景技術

人臉識別作為一個技術已經日益成熟，在現實中的應用也非常的廣泛，例如安防監控、考勤簽到等等。然而，現有的人臉識別所受到的限制還比較多，目前的應用大多適用于清晰、正視的人臉，一旦出現光照變化或者人臉發生偏轉甚至遮擋，現有的人臉識別技術的準確率就開始大幅下降。因此，在復雜困難的條件下進行人臉識別依舊是一個富有挑戰性的問題。本發明提出了一種基于GLD-GAN的不規則人臉矯正算法，通過將不規則人臉矯正成清晰的正臉，從而提高復雜環境下的人臉識別準確率。

目前公開發表的相關專利并不算多，其中公開號及公開日分別為CN108510061A、2018.09.07，標題為《基于條件生成對抗網絡的多監控視頻人臉合成正臉的方法》的中國專利提供了一種在多監控視頻下的人臉合成正臉的方法，該方法需要采集監控視頻中的無約束偏轉角度人臉和正臉，篩選出正臉，因此其依賴多張側臉的輸入來實現正臉的合成；另外，公開號及公開日分別為CN108537743A、2018.09.14,標題為《一種基于生成對抗網絡的面部圖像增強方法》，該方法提供了另一種基于生成對抗網絡實現不規則人臉矯正的思路，其主要使用了3D稠密面部對齊方法對多種姿態的面部圖像進行預處理，然后再放入網絡中進行訓練，該方法得到的圖像可以保留原始光照、視覺程度真實，并且保留了原有的身份信息。但是由于其采用了3D稠密的面部對齊方法，其運行速度偏慢；同時當人臉出現大角度偏轉或者遮擋的情況時，其準確率也會出現明顯的下降。此外還有一種基于移動終端的專利，公開號和公開日分別為CN108491775A、2018.09.04，標題為《一種圖像修正方法及移動終端》，該專利旨在提高拍攝作品的顯示效果，將人像中的瞳孔進行朝向上的修正。該方法雖然對不規則人臉有一定的矯正，但是在大角度側臉的情況下通常會丟失左/右眼的信息，這種方法就失效了。

本發明研究了側臉人像的規則化方法，即從非正面姿態且光照條件并不理想的二維人臉圖像重構出理想光照條件下正面的人臉圖像，具體包括人像的姿態、光照矯正以及對面部紋理缺失的自動補償，目的是實現多角度的單一的側臉人像到正面人像視圖的端到端映射，一定程度上解決實際環境下復雜的人臉識別問題，進一步提升實際應用中人臉識別的準確度。

專利文獻CN106874861A(申請號：201710053937.9)公開了一種人臉矯正方法及系統，方法包括：設置一標準臉，得到標準點，所述標準點至少包括：左眼球中心、右眼球中心、鼻尖、左嘴角和右嘴角的5個特征點；從上述標準點中選擇不同特征點，對輸入的不同偏轉角度的人臉使用不同計算相似變換參數的方式，對多偏轉角度的人臉進行矯正；當偏轉角在第一偏轉角度閾值內，則采用基于左右兩眼球中心的坐標計算相似變換的參數；當偏轉角在第二偏轉角度閾值內，則采用基于兩眼球的中間的坐標和兩嘴角中間的坐標計算相似變換的參數；當偏轉角在第三偏轉角度閾值內，則采用基于單側特征點計算相似變換參數。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于GLD-GAN的不規則人臉矯正方法、系統及介質。

根據本發明提供的一種基于GLD-GAN的不規則人臉矯正方法，包括：

步驟S1：識別并截取圖像中的人臉，獲得人臉圖P₀；