[發明專利]一種通過神經網絡實現人臉屬性轉換的方法

有效

• 申請號: 201710867468.4
• 申請日: 2017-09-22
• 公開（公告）號: CN107665339B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 孔方圓;丁圣勇;朝紅陽
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明提供一種通過神經網絡實現人臉屬性轉換的方法，該方法通過訓練生成網絡G?Net，其中，生成網絡G?Net負責生成圖像，即輸入一個隨機向量獲得一個視覺上真實的人臉圖像；訓練屬性判別網絡E?Net，其中，屬性判別網絡E?Net負責判別屬性，即判斷當前圖片是否具有限定的屬性；在生成網絡G?Net和屬性判別網絡E?Net完成訓練后，把生成網絡G?Net和屬性判別網絡E?Net串聯在一起，即G?Net的輸出為E?Net的輸入，進行人臉屬性轉換操作；該方法可以快速生成效果自然的圖片，解決生成結果可能是不自然人臉或者不是人臉的問題，不需要手工二次修改。

技術領域

本發明涉及數字圖像處理領域，更具體地，涉及一種通過神經網絡實現人臉屬性轉換的方法。

背景技術

人臉屬性是面部圖像的描述，通常人們使用PS手工修改達到人臉屬性轉移的效果，為了得到滿意的結果需要耗費大量時間和精力。此外，使用屬性判別網絡反向傳播修改原圖的方法也可以達到人臉屬性轉移的目的，但該方法得到的圖片可能不是人臉。

發明內容

本發明提供一種通過神經網絡實現人臉屬性轉換的方法，該方法可以快速生成效果自然的圖片。

為了達到上述技術效果，本發明的技術方案如下：

一種通過神經網絡實現人臉屬性轉換的方法，包括以下步驟：

S1：訓練生成網絡G-Net，其中，生成網絡G-Net負責生成圖像，即輸入一個隨機向量獲得一個視覺上真實的人臉圖像；

S2：訓練屬性判別網絡E-Net，其中，屬性判別網絡E-Net負責判別屬性，即判斷當前圖片是否具有限定的屬性；

S3：在生成網絡G-Net和屬性判別網絡E-Net完成訓練后，把生成網絡G-Net和屬性判別網絡E-Net串聯在一起，即G-Net的輸出為E-Net的輸入，進行人臉屬性轉換操作。

進一步地，所述生成網絡G-Net的訓練過程是：

S11：將輔助訓練的判別網絡D-Net與G-Net連接到一起，即G-Net的輸出為D-Net的輸入。其中判別網絡D-Net是一個二分類網絡，負責區分生成圖片和真實圖片，即判斷當前圖片是真實人臉圖像還是G-Net輸出的；

S12：固定住G-Net的網絡參數，訓練D-Net，目標是使得D-Net可以區分出G-Net的輸出和真實人臉圖像。過程為將G-Net的輸出(標簽標注為0)和真實人臉圖像(標簽標注為1)輸入到D-Net，得到D-Net對于輸入圖片的判斷結果，將判斷結果與標簽進行比較根據loss函數計算殘差，反向傳播殘差，通過Adam方法學習D-Net的網絡參數；

S13：固定住D-Net的網絡參數，訓練G-Net，目標是使得D-Net無法區分出G-Net的輸出和真實人臉圖像。過程為將隨機向量輸入到G-Net得到G-Net的生成結果，將G-Net的輸出(標簽標注為1)和真實人臉圖像(標簽標注為1)輸入到D-Net，得到D-Net對于輸入圖片的判斷結果，將判斷結果與標簽進行比較根據loss函數計算殘差，反向傳播殘差，通過Adam方法學習G-Net的網絡參數；

S14：不斷重復S12和S13，直到D-Net無法區分G-Net輸出和真實人臉圖像，訓練完成，D-Net不會再被使用。

進一步地，所述屬性判別網絡E-Net的訓練過程是：

S21：將含有限定的屬性的真實人臉圖片(標簽標注為1)以及不含限定屬性的真實人臉圖片(標簽標注為0)輸入到E-Net，得到E-Net對輸入圖片的屬性判斷結果；

S22：比較E-Net的輸出與標簽的差距，使用SGD方法更新參數，即通過定義loss函數衡量輸出與標簽的差距，然后根據loss得到殘差，進行反向傳播更新網絡的參數；