[發明專利]一種基于GAN網絡的肖像圖像頭發去除方法及裝置

在審

• 申請號: 202210172409.6
• 申請日: 2022-02-24
• 公開（公告）號: CN114663274A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 吳奕謙;金小剛
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06N3/08;G06K9/62;G06V10/764;G06V10/774
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于GAN網絡的肖像圖像頭發去除方法，包括：步驟1、在StyleGAN隱空間中對隱碼進行隨機采樣獲得頭發隱碼?分數數據集；步驟2、通過支持向量機訓練獲得頭發分離邊界與性別分離邊界；步驟3、通過頭發分離邊界編輯獲得男性光頭隱碼；步驟4、基于步驟3數據，訓練獲得用于編輯男性有頭發隱碼的Male HairMapper模型；步驟5、通過性別分離邊界與Male HairMapper模型編輯得到女性光頭隱碼；步驟6、基于上述的數據，訓練獲得用于生成高質量光頭肖像圖像的頭發去除模型；步驟7、將待除去頭發的肖像圖像輸入頭發去除模型中，經計算后，輸出去除頭發的肖像圖像。本發明還提供了一種肖像圖像頭發去除裝置。通過本發明提供的方法可以生成高質量的光頭肖像圖像。

技術領域

本發明涉及肖像編輯技術領域，尤其涉及一種基于GAN網絡的肖像圖像頭發去除方法及裝置。

背景技術

頭發不僅是人體的重要組成部分，也是代表著個性和時尚的關鍵元素。然而，肖像圖像中頭發的存在給數字發型設計和人臉三維重建造成了重大挑戰。在數字發型設計方面，直接在原圖上疊加新的發型會很容易與舊發混在一起，造成問題；而用新的發型替換舊的發型則需要用到摳圖和圖像補全技術，這兩項技術都非常容易出錯。對于三維人臉重建，現有的大多數方法都不能處理遮擋人臉的毛發，毛發仍然保留在紋理中，因此在重構后的人臉中會產生明顯的偽影。這促使我們開發一種頭發處理方法，可以自然地從肖像中去除頭發，以促進實際應用。

傳統除去頭發的方法，通過是對實際的男女圖像進行修改與標定后生成訓練集，但是該方式費時又費力且獲取的訓練集容量并不大，導致最終訓練的模型效果并不佳?，F階段已有科研學者采用StyleGAN隱空間中的隱碼來表示圖像信息，然后通過計算機完成圖像的標定，但是StyleGAN隱空間存在一個問題：隱空間中缺少女性-光頭這一組合的語義信息，使得該類方法只能獲得男性頭發與光頭的隱碼對。

學術文獻Interpreting the Latent Space of GANs for Semantic FaceEditing.(In Advances in Neural Information Processing Systems 33(2020): pages12104-12114,2020)公開了一種方法，在StyleGAN隱空間中建立分離邊界，從而通過簡單的線性組合編輯人臉語義，但是該方法不能保證編輯前后的人臉特征不變。

學術文獻Styleclip:Text-driven manipulation of stylegan imagery.(InProceedings of the IEEE/CVF International Conference on Computer Vision.2021.,pages 2085-2094,2021)公開了一種CILP語言-圖像預訓練模型，通過在StyleGAN隱空間中動態查找給定文本提示的方向，實現基于文本的語義圖像操作。

專利文獻CN111598762A公開了一種生成式魯棒圖像隱寫方法，包括：構建圖數據集，并對圖像數據集進行預訓練；構建并初始化深度學習網絡架構；采用聯合-精調試方法訓練深度學習網絡架構，得到網路架構模型；利用網絡架構模型生成載密偽圖并進行秘密通信，完成圖像隱寫過程。該方法采用圖像隱寫方法，通過利用生成對抗網絡StyleGAN，將秘密信息的嵌入過程融入到圖像的生成過程中，從而得到的生成式圖像隱寫方法具有嵌入的容量較大，生成的圖像質量好，載密圖像統計不可檢測性強，實用性高等優點，并克服了現有的生成式圖像隱寫生成的載密圖像質量差，嵌入容量低，信息提取準確率不高等問題，但是該方法不能很好的處理頭發去除問題，因為StyleGAN不存在女性-光頭這一組合的語義信息，同時該發明內容中也沒有提及如何解決該問題。

發明內容