[發明專利]一種美顏神經網絡訓練方法、裝置、設備和存儲介質

在審

• 申請號: 202010825307.0
• 申請日: 2020-08-17
• 公開（公告）號: CN111985642A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 吳善思源;龔秋棠;侯峰;林奇;吳方燦
• 申請（專利權）人: 廈門真景科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06T5/00
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 徐東峰

本發明公開一種美顏神經網絡訓練方法、裝置、設備和存儲介質，其包括如下步驟：S1，訓練一個人臉五官屬性分類網絡NetA；S2，訓練一個人臉五官語義分割網絡NetS；S3，訓練一個普通用戶人臉自編碼網絡，包括NetCe和NetCd；S4，訓練一個高顏值用戶人臉自編碼網絡，包括NetBe和NetBd；S5，訓練隱空間編碼轉換網絡NetT；S6，NetCe將普通用戶人臉圖像Cimage轉換成隱空間編碼Ccode；S7，NetBe將高顏值用戶人臉圖像Bimage轉換成隱空間編碼Bcode；S8，NetT將Ccode轉換為C2Bcode，NetBd將C2Bcode還原為輸出圖像output；S9，使用Ccode＝NetCe(Cimage)；C2Bcode＝NetT(Ccode)；output＝NetBd(C2Bcode)；獲得與用戶本人身份特征一致的高顏值臉部圖像output。通過半監督的訓練方式，可以使用“非配對”數據進行無需設置或調整參數；且美顏處理的功能非常豐富，不限于磨皮、美白、祛斑等簡單操作。

技術領域

本發明應用于美顏神經網絡訓練領域，具體是一種美顏神經網絡訓練方法、裝置、設備和存儲介質。

背景技術

在自拍需求日益強烈的今天，獲得高顏值肖像成為很多社交活動中的剛需。傳統的圖像算法(如磨皮、美白提亮、祛斑等)可以很好地修繕自拍時的面部瑕疵，但是往往操作復雜，且功能有限，在一定的情況下可能提升非常有限，難以滿足用戶對肖像顏值提高的期望。

深度學習神經網絡可以很好地替代傳統的圖像算法來對用戶肖像進行美顏處理，但是全監督訓練往往需要很多的匹配數據對(如用戶美顏前原圖，和用戶美顏后效果圖)。但是這類數據獲取是異常困難的，而且數據規模也難以滿足大分辨率圖像生成網絡大訓練(通常訓練更大分辨率的生成網絡需要的訓練數據是更多的，比如訓練128 x128尺寸圖像只需要一千張訓練圖，那么訓練256x256尺寸圖像達到近似視覺效果則需要一萬張訓練圖)。

常見的半監督圖像生成式神經網絡往往難以在“生成高顏值臉部圖像”和“生成的臉部圖像與原用戶身份信息一致”(如CycleGAN 等)，即生成的圖像的面部特征很難讓用戶覺得像本人，僅是一個與自己無關(或僅姿態、表情類似)的高顏值陌生人。

發明內容

本發明所要解決的技術問題是針對現有技術的不足，提供一種美顏神經網絡訓練方法、裝置、設備和存儲介質。

為解決上述技術問題，本發明的一種美顏神經網絡訓練方法，其包括如下步驟：

S1，訓練一個人臉五官屬性分類網絡NetA；

S2，訓練一個人臉五官語義分割網絡NetS；

S3，訓練一個普通用戶人臉自編碼網絡，包括NetCe和NetCd；

S4，訓練一個高顏值用戶人臉自編碼網絡，包括NetBe和NetBd；

S5，訓練隱空間編碼轉換網絡NetT；

S6，NetCe將普通用戶人臉圖像Cimage轉換成隱空間編碼Ccode；

S7，NetBe將高顏值用戶人臉圖像Bimage轉換成隱空間編碼 Bcode；

S8，NetT將Ccode轉換為C2Bcode，NetBd將C2Bcode還原為輸出圖像output；

S9，使用Ccode＝NetCe(Cimage)；C2Bcode＝NetT(Ccode)；output ＝NetBd(C2Bcode)；獲得與用戶本人身份特征一致的高顏值臉部圖像 output。

作為一種可能的實施方式，進一步的，所述步驟S8中的輸出圖像output受到三個約束：

(1)NetS(Cimage)對NetS(output)進行約束；