[發明專利]基于動態的面部表情動作單元信息的人臉修復方法

在審

• 申請號: 202011164029.5
• 申請日: 2020-10-27
• 公開（公告）號: CN112365412A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 劉志磊;吳云鵬;李樂;張翠翠
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于動態的面部表情動作單元信息的人臉修復方法，其特征是，構建人臉修復生成網絡，由粗到細地修復有損人臉，其包括一個粗糙生成器與精細生成器，粗糙生成器是一個自編碼器AE構成，精細生成器是一個條件自編碼器CAE構成；構建圖片判別器網絡，用于區分修復生成的人臉圖像與真實的人臉圖像；構建面部表情動作單元信息AU檢測器網絡，用于對粗糙生成器生成修復的人臉檢測到的AU信息，以條件形式添加到精細生成器中，從而約束精細生成器修復生成的人臉圖像的面部表情動作；

訓練時，具有遮擋區域的人臉圖像作為整個網絡的輸入，輸入到粗糙生成器中，粗糙生成器得到一個粗糙的修復結果，將這個結果作為精細生成器的輸入，最終的修復結果分別輸入到判別器和AU分類器中以此來約束精細生成器的生成效果；

測試時：具有遮擋區域的人臉圖像輸入到粗糙生成器中，得到一個粗糙的修復結果，之后將這個初步得到的結果分別輸入到精細生成器和AU分類器中，利用AU分類器的分類結果作為精細生成器的約束，從而修復生成最終的人臉圖像的面部表情動作，同時得到修復后圖像的AU識別結果。

2.如權利要求1所述的基于動態的面部表情動作單元信息的人臉修復方法，其特征是，其中：

1)對于粗糙生成器，單獨每部分loss如下：

其中，x_r是訓練集中非復雜環境下的真實人臉，x_coar是粗糙生成器大致修復生成的人臉。

其中，D_img是圖片判別器。

其中，是指圖片判別器的輸出的前一特征層。

其中D_au是指AU判別器以及C_au是指AU檢測器，訓練粗糙生成器的整體loss如下：

L_{g_c}＝L_{pixel_c}+λ₁₁L_{D_c}+λ₁₂L_{f_D_c}+λ₁₃L_{D_c_au}

2)對于精細生成器，單獨每部分loss如下：

其中x_fine是精細生成器修復生成的人臉。

訓練精細生成器的整體loss如下：

L_{g_f}＝L_{pixel_f}+λ₂₁L_{D_f}+λ₂₂L_{f_D_f}+λ₂₃L_{D_f_au}，

其中，λ₂₁，λ₂₂和λ₂₃是用來平衡各損失的超參數。

3.如權利要求1所述的基于動態的面部表情動作單元信息的人臉修復方法，其特征是，判別器的loss如下：

x_r是訓練集中非復雜環境下的真實人臉。