[發明專利]基于生成對抗網絡的非成對異質人臉圖像生成方法、裝置

在審

• 申請號: 202010435726.3
• 申請日: 2020-05-21
• 公開（公告）號: CN111797891A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 霍靜;王逸群;高陽
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T7/60;G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于生成對抗網絡的非成對異質人臉圖像生成方法、裝置，所述方案包括：通過多次迭代對異質人臉圖像生成模型進行訓練，其中每次迭代包括：將域a和域b中采樣的非成對的異質人臉圖像分別輸入域a的生成器和域b的生成器，使用域a的解碼器和域b的解碼器分別得到跨域生成圖像，使用域a的判別器和域b的判別器分別評價跨域生成圖像的真假，基于異質人臉圖像生成模型的損失更新模型參數；采用訓練完成的異質人臉圖像生成模型進行人臉圖像生成。采用上述技術方案，可以在無監督、非成對的條件下進行異質人臉圖像生成，增強生成圖像的質量、多樣性以及大幅度地增強身份信息保持能力。

技術領域

本發明涉及圖像處理領域，尤其涉及一種基于生成對抗網絡的非成對異質人臉圖像生成方法、裝置。

背景技術

現代成像技術的不斷發展提供了不同類型、不同模態的圖像形態，可以稱之為異質圖像。以人臉圖像數據為例，現有的異質人臉圖像可以大致分成可見光人臉圖像、近紅外人臉圖像、素描人臉圖像、熱成像人臉圖像以及3D人臉圖像等等。

異質人臉圖像可以在不同的表達空間給出同一個目標的非常豐富的描述和刻畫，它們之間既存在冗余信息也存在互補信息，異質人臉圖像互信息的有效利用和分析，可以加深視覺認識、感知理解，對公共安全領域和媒體娛樂領域等有著廣泛而重要的應用價值。

現有技術多關注于異質人臉圖像識別，而鮮有涉及異質人臉圖像生成。

發明內容

發明目的：本發明旨在提供一種基于生成對抗網絡的非成對異質人臉圖像生成方法、裝置。

技術方案：本發明實施例中提供一種基于生成對抗網絡的非成對異質人臉圖像生成方法，包括：對域a和域b的異質人臉圖像進行歸一化處理；預訓練異質人臉識別模型；通過多次迭代對異質人臉圖像生成模型進行訓練，其中每次迭代包括：將域a和域b中采樣的非成對的異質人臉圖像分別輸入域a的生成器和域b的生成器，使用域a的解碼器和域b的解碼器分別得到跨域生成圖像，使用域a的判別器和域b的判別器分別評價跨域生成圖像的真假，基于異質人臉圖像生成模型的損失更新模型參數；采用訓練完成的異質人臉圖像生成模型進行人臉圖像生成。

具體的，利用同質人臉圖像數據集預訓練身份特征抽取器；然后通過異質人臉圖像數據集調整異質人臉圖像識別模型。

具體的，域a的生成器和域b的生成器的內容編碼器，分別使用卷積對輸入的人臉圖像進行下采樣，使用殘差塊進行處理，分別輸出帶有圖像結構信息的內容特征圖；域a的生成器和域b的生成器的風格編碼器，分別使用卷積對輸入的人臉圖像進行下采樣，使用全局平均池化后進行全連接，分別輸出風格向量。

具體的，域a的解碼器和域b的解碼器基于跨域的內容特征圖和風格向量，分別解碼得到跨域生成圖像。

具體的，域a的解碼器和域b的解碼器基于同域的內容特征圖和風格向量，分別解碼得到域內生成圖像。

具體的，將跨域生成圖像分別作為域a的生成器和域b的生成器的輸入，使用域a的解碼器和域b的解碼器分別得到雙跨域生成圖像。

具體的，基于以下損失更新異質人臉圖像生成模型的參數：對抗損失、內容一致性損失、風格一致性損失、圖像重建損失、域無關感知損失、循環一致性損失、恒等映射損失以及域無關身份特征匹配損失。

具體的，域a的判別器和域b的判別器基于對應的輸入的人臉圖像，在多個尺度上分別評價跨域生成圖像的真假，對每個尺度進行權重分配，加權計算后分別得到評價結果。