[發明專利]一種基于GAN網絡的肖像圖像頭發去除方法及裝置

在審

• 申請號: 202210172409.6
• 申請日: 2022-02-24
• 公開（公告）號: CN114663274A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 吳奕謙;金小剛
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06N3/08;G06K9/62;G06V10/764;G06V10/774
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于GAN網絡的肖像圖像頭發去除方法，其特征在于，包括：

步驟1、在StyleGAN隱空間中對隱碼進行隨機采樣獲得隱碼集，對隱碼集中的隱碼進行標注獲得有頭發標簽與光頭標簽，并將隱碼集與標注標簽組合成頭發隱碼-分數數據集；

步驟2、通過支持向量機訓練獲得頭發分離邊界與性別分離邊界，所述頭發分離邊界只能編輯男性頭發的隱碼，無法保證隱碼輸出肖像圖像的面部特征不變，所述性別分離邊界用于編輯隱碼對應的性別，同時保證隱碼輸出肖像圖像的面部特征不變；

步驟3、通過頭發分離邊界對頭發隱碼-分數數據集中的男性有頭發隱碼進行編輯，采用語義擴散細化優化得到頭發隱碼-分數數據集中的男性有頭發隱碼對應的男性光頭隱碼，所述男性光頭隱碼輸出肖像圖像的面部特征與男性有頭發隱碼輸出肖像圖像的面部特征一致；

步驟4、將步驟3獲得的男性光頭隱碼與對應的男性有頭發隱碼組成訓練集，輸入至預先構建的Male HairMapper模型中，經迭代訓練后，獲得用于編輯男性隱碼去除肖像圖像中的頭發，并保持肖像圖像面部特征不變的Male HairMapper模型；

步驟5、通過性別分離邊界將頭發隱碼-分數數據集中的女性有頭發隱碼轉換為男性有頭發隱碼，將轉換后的男性有頭發隱碼輸入至訓練好的Male HairMapper模型中獲得男性光頭隱碼，通過語義擴散細化對男性光頭隱碼進行優化，獲得對應的女性光頭隱碼；

步驟6、將步驟3中生成的男性光頭隱碼與對應的男性有頭發隱，以及步驟5中生成的女性光頭隱碼與對應的女性有頭發隱碼組成數據集，輸入至預先構建的頭發去除模型中，經迭代訓練后，獲得用于生成高質量光頭肖像圖像的頭發去除模型；

步驟7、將待除去頭發的肖像圖像輸入至頭發去除模型中，經編輯計算與圖像的融合拼接后，輸出去除頭發后的肖像圖像。

2.根據權利要求1所述的基于GAN網絡的肖像圖像頭發去除方法，其特征在于，所述步驟1中的隱碼集包括女性有頭發隱碼，男性有頭發隱碼以及對應的男性光頭隱碼。

3.根據權利要求1所述的基于GAN網絡的肖像圖像頭發去除方法，其特征在于，所述步驟2中通過支持向量機訓練獲得頭發分離邊界與性別分離邊界，具體步驟如下：

步驟2.1、基于頭發隱碼-分數數據集中的男性有頭發隱碼與對應的男性光頭隱碼，通過支持向量機訓練獲得頭發分離邊界；

步驟2.2、通過StyleFlow軟件編輯隨機生成的隱碼，獲得肖像圖像性別隱碼相反的性別隱碼-分數數據集，基于所述性別隱碼-分數數據集通過支持向量機訓練獲得性別分離邊界。

4.根據權利要求1所述的基于GAN網絡的肖像圖像頭發去除方法，其特征在于，所述語義擴散細化優化是將原肖像圖像中的臉部特征擴散入編輯后的隱碼中，對目標隱碼進行迭代優化，當總損失函數達到最小，輸出成對的有頭發和光頭的隱碼對。

5.根據權利要求4所述的基于GAN網絡的肖像圖像頭發去除方法，其特征在于，所述對目標隱碼進行迭代優化時，采用的總損失函數具體為：

L_diffuse＝λ_recL_rec+λ_perL_per

其中，L_rec為像素級重構損失，L_per為結構級重構損失，λ_rec為像素級重構損失的權重，λ_per為結構級重構損失的權重。