[發明專利]基于生成對抗網絡的非成對異質人臉圖像生成方法、裝置

在審

• 申請號: 202010435726.3
• 申請日: 2020-05-21
• 公開（公告）號: CN111797891A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 霍靜;王逸群;高陽
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T7/60;G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，包括：

對域a和域b的異質人臉圖像進行歸一化處理；

預訓練異質人臉識別模型；

通過多次迭代對異質人臉圖像生成模型進行訓練，其中每次迭代包括：將域a和域b中采樣的非成對的異質人臉圖像分別輸入域a的生成器和域b的生成器，使用域a的解碼器和域b的解碼器分別得到跨域生成圖像，使用域a的判別器和域b的判別器分別評價跨域生成圖像的真假，基于異質人臉圖像生成模型的損失更新模型參數；

采用訓練完成的異質人臉圖像生成模型進行人臉圖像生成。

2.根據權利要求1所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述預訓練異質人臉識別模型，包括：

利用同質人臉圖像數據集預訓練身份特征抽取器；

通過異質人臉圖像數據集調整異質人臉圖像識別模型。

3.根據權利要求1所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述將域a和域b中采樣的非成對的異質人臉圖像分別輸入域a的生成器和域b的生成器，包括：

域a的生成器和域b的生成器的內容編碼器，分別使用卷積對輸入的人臉圖像進行下采樣，使用殘差塊進行處理，分別輸出帶有圖像結構信息的內容特征圖；域a的生成器和域b的生成器的風格編碼器，分別使用卷積對輸入的人臉圖像進行下采樣，使用全局平均池化后進行全連接，分別輸出風格向量。

4.根據權利要求3所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述使用域a的解碼器和域b的解碼器分別得到跨域生成圖像，還包括：

域a的解碼器和域b的解碼器基于跨域的內容特征圖和風格向量，分別解碼得到跨域生成圖像。

5.根據權利要求3所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述使用域a的解碼器和域b的解碼器分別得到域內生成圖像，還包括：

域a的解碼器和域b的解碼器基于同域的內容特征圖和風格向量，分別解碼得到域內生成圖像。

6.根據權利要求1所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，在所述使用域a的解碼器和域b的解碼器分別得到跨域生成圖像之后，還包括：

將跨域生成圖像分別作為域a的生成器和域b的生成器的輸入，使用域a的解碼器和域b的解碼器分別得到雙跨域生成圖像。

7.根據權利要求1所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述基于異質人臉圖像生成模型的損失更新模型參數，包括：

基于以下損失更新異質人臉圖像生成模型的參數：對抗損失、內容一致性損失、風格一致性損失、圖像重建損失、域無關感知損失、循環一致性損失、恒等映射損失以及域無關身份特征匹配損失。

8.根據權利要求1所述的基于生成對抗網絡的非成對異質人臉圖像生成方法，其特征在于，所述使用域a的判別器和域b的判別器分別評價跨域生成圖像的真假，包括：

域a的判別器和域b的判別器基于對應輸入的人臉圖像，在多個尺度上分別評價跨域生成圖像的真假，對每個尺度進行權重分配，加權計算后分別得到評價結果。

9.一種基于生成對抗網絡的非成對異質人臉圖像生成裝置，其特征在于，包括：預處理單元、微調單元、訓練單元和測試單元，其中：

所述預處理單元，用于對兩個域的異質人臉圖像進行歸一化處理；

所述微調單元，用于預訓練一個異質人臉識別模型；

所述訓練單元，用于通過多次迭代對異質人臉圖像生成模型進行訓練，其中每次迭代包括：將域a和域b中采樣的非成對的異質人臉圖像分別輸入域a的生成器和域b的生成器，使用域a的解碼器和域b的解碼器分別得到跨域生成圖像，使用域a的判別器和域b的判別器分別評價跨域生成圖像的真假，基于異質人臉圖像生成模型的損失更新模型參數；

所述測試單元，用于采用訓練完成的異質人臉圖像生成模型進行人臉圖像生成。