[發明專利]一種基于自注意力機制的人臉正臉化生成方法

在審

• 申請號: 202010067547.9
• 申請日: 2020-01-20
• 公開（公告）號: CN111242078A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 欒曉;耿弘民;劉玲慧
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于自注意力機制的人臉正臉化生成方法，其特征在于，該方法包括以下步驟：

S1：數據預處理階段：利用人臉檢測網絡裁剪出原始圖像中處于非限制姿態下的人臉部分，并將裁剪后切塊的尺寸重新拉伸為224×224；

S2：人臉生成階段：將輸入的任意姿態下人臉圖像正臉化，并得到生成的正面圖像；

S3：人臉判別階段：判別器網絡將輸入的圖片按照人臉的五官特征區域進行切分，并得到一組切塊，每個切塊對應各自的自注意力子判別器，并根據輸入圖像輸出一個概率值；

S4：判別結果整合階段：根據人臉特征分塊圖像的尺度，每個子判別器的結果將與一個對應的權值相乘，得到整個判別器組的輸出。

2.根據權利要求1所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S1具體包括以下步驟：

S11：對所有人臉圖像數據進行歸一化，使整個圖像的均值為0，標準差為1，即使原始圖像在r,g,b通道上的分布服從正態分布；

S12：利用人臉檢測網絡裁剪出原始圖像中處于非限制姿態下的人臉部分，并將裁剪后切塊的尺寸重新拉伸為224×224。

3.根據權利要求2所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S2具體包括以下步驟：

S21：圖像的編碼階段，將步驟S12得到的人臉圖像作為輸入送入編碼器網絡，輸出與輸入圖像所對應的編碼向量；其中，人臉圖像分為非正面圖像組和正面圖像組

S22：圖像的解碼階段，將步驟S21得到的編碼向量作為圖像的身份特征向量送入解碼器網絡，輸出一個正面的人臉圖像；

S23：將生成的人臉圖像與真實的人臉圖像進行對比，產生比較損失約束生成網絡。

4.根據權利要求3所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S23具體包括以下步驟：

S231：對于步驟S22得到的生成正面人臉圖像，將其送入步驟S21得到的生成圖像的編碼向量，使用此向量與步驟S21所得到的編碼向量間的歐氏距離作為身份信息損失函數；

S232：若步驟S21所處理的圖像為正面圖像組中的圖像，則額外利用步驟S22所得的生成圖像與步驟S21中的真實正面圖像的像素級歐氏距離作為像素損失函數。

5.根據權利要求4所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S231中，所述的身份信息損失函數的表達式為：

其中，f(x)為編碼器網絡中的深層特征圖，x、y、分別表示非正面人臉圖像、正面人臉圖像與各自對應的生成器處理后產生的圖像，表示對應向量的歐氏距離。

6.根據權利要求4所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S232中，所述像素損失函數的表達式為：

其中，|·|代表L1范數約束，y_c,h,w為真實的正面人臉圖像，為由生成器生成的正面人臉圖像，C×H×W表示圖像的總像素數量。

7.根據權利要求3所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S3具體包括以下步驟：

S31：將輸入圖像按照人臉的五官特征區域進行裁剪分塊，分為原圖像、中心臉、眼睛區域、鼻子區域和嘴區域的一組不同尺度的區域分塊；

S32：將步驟S31得到的每個區域分塊都各自對應一個獨立的子判別器，每個子判別器輸出一個概率值來判別輸入圖像與真實圖像的相似性。

8.根據權利要求7所述的一種基于自注意力機制的人臉正臉化生成方法，其特征在于，所述步驟S32中，每個獨立的子判別器采用相同的網絡結構，并在其網絡的倒數第一、二層加入自注意力模塊。