[發明專利]一種通過神經網絡實現人臉屬性轉換的方法

有效

• 申請號: 201710867468.4
• 申請日: 2017-09-22
• 公開（公告）號: CN107665339B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 孔方圓;丁圣勇;朝紅陽
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種通過神經網絡實現人臉屬性轉換的方法，其特征在于，包括以下步驟：

S1：訓練生成網絡G-Net，其中，生成網絡G-Net負責生成圖像，即輸入一個隨機向量獲得一個視覺上真實的人臉圖像；

S2：訓練屬性判別網絡E-Net，其中，屬性判別網絡E-Net是一個二分類網絡，負責判別屬性，即判斷當前圖片是否具有限定的屬性；

S3：在生成網絡G-Net和屬性判別網絡E-Net完成訓練后，把生成網絡G-Net和屬性判別網絡E-Net串聯在一起，即G-Net的輸出為E-Net的輸入，進行人臉屬性轉換操作；

所述步驟S3中進行人臉屬性轉換操作的過程是：

S31：z_0表示G-Net的輸入，I表示G-Net的輸出，O表示原始圖像，首先隨機產生z_0，得到I，然后定義損失函數為固定好學習到的網絡參數，反向傳播求O在G-Net輸入空間的表示z_1，即當輸入為z_1時G-Net的輸出圖像為O；

S32：將串接的G-Net和E-Net作為一個整體網絡，固定好學習到的網絡參數，使用z_1作為輸入，得到對于屬性的判斷，E-Net輸出為1表示擁有該屬性，為0表示不擁有該屬性，反向傳播尋找z_2達到屬性轉換的效果，即從原來不擁有該屬性變為擁有該屬性，反向傳播的loss函數為或者從原來擁有該屬性變為不擁有該屬性，反向傳播的loss函數為

S33：將z_2作為G-Net的輸入，得到的輸出即為屬性轉換結果圖。

2.根據權利要求1所述的通過神經網絡實現人臉屬性轉換的方法，其特征在于，所述生成網絡G-Net的訓練過程是：

S11：將輔助訓練的判別網絡D-Net與G-Net連接到一起，即G-Net的輸出為D-Net的輸入，其中判別網絡D-Net是一個二分類網絡，負責區分生成圖片和真實圖片，即判斷當前圖片是真實人臉圖像還是G-Net輸出的；

S12：固定住G-Net的網絡參數，訓練D-Net，目標是使得D-Net可以區分出G-Net的輸出和真實人臉圖像，過程為將G-Net的輸出即標簽標注為0的圖片和真實人臉圖像即標簽標注為1的圖片輸入到D-Net，得到D-Net對于輸入圖片的判斷結果，將判斷結果與標簽進行比較根據loss函數計算殘差，反向傳播殘差，通過Adam方法學習D-Net的網絡參數；

S13：固定住D-Net的網絡參數，訓練G-Net，目標是使得D-Net無法區分出G-Net的輸出和真實人臉圖像，過程為將隨機向量輸入到G-Net得到G-Net的生成結果，將G-Net的輸出即標簽標注為1的圖片和真實人臉圖像即標簽標注為1的圖片輸入到D-Net，得到D-Net對于輸入圖片的判斷結果，將判斷結果與標簽進行比較根據loss函數計算殘差，反向傳播殘差，通過Adam方法學習G-Net的網絡參數；

S14：不斷重復S12和S13，直到D-Net無法區分G-Net輸出和真實人臉圖像，訓練完成，D-Net不會再被使用。

3.根據權利要求2所述的通過神經網絡實現人臉屬性轉換的方法，其特征在于，所述屬性判別網絡E-Net的訓練過程是：

S21：將含有限定的屬性的真實人臉圖片即標簽標注為1的圖片以及不含限定屬性的真實人臉圖片即標簽標注為0的圖片輸入到E-Net，得到E-Net對輸入圖片的屬性判斷結果；

S22：比較E-Net的輸出與標簽的差距，使用SGD方法更新參數，即通過定義loss函數衡量輸出與標簽的差距，然后根據loss得到殘差，進行反向傳播更新網絡的參數；

S23：重復S21和S22，直到loss收斂，訓練完成。