[發(fā)明專利]一種基于生成對抗網(wǎng)絡(luò)的病態(tài)人臉數(shù)據(jù)增強方法

有效

• 申請?zhí)枺?/td>: 202011173820.2
• 申請日: 2020-10-28
• 公開（公告）號: CN112233017B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 陳雷;胡金雨;袁媛
• 申請（專利權(quán)）人: 中國科學(xué)院合肥物質(zhì)科學(xué)研究院
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/40;G06T5/50;G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/084;G06N3/094
• 代理公司: 合肥天明專利事務(wù)所(普通合伙) 34115
• 代理人: 婁岳

1.一種基于生成對抗網(wǎng)絡(luò)的病態(tài)人臉數(shù)據(jù)增強方法，其特征在于，包括：

S1、獲取病態(tài)人臉圖像和健康態(tài)人臉圖像并構(gòu)建訓(xùn)練集；

S2、設(shè)計生成對抗網(wǎng)絡(luò)模型，利用加入生成對抗網(wǎng)絡(luò)模型中的特征提取模塊對輸出圖像病態(tài)程度進行自定義控制，其具體步驟包括：

S21、設(shè)計生成對抗網(wǎng)絡(luò)模型，生成對抗網(wǎng)絡(luò)模型的生成網(wǎng)絡(luò)采用雙輸入輸出架構(gòu)，將兩個輸入分支的輸出特征圖進行融合，再將融合后的特征圖輸出到若干個瓶頸殘差結(jié)構(gòu)，經(jīng)過兩個獨立的反卷積網(wǎng)絡(luò)上采樣最終得到生成圖像，所述輸入分支包括下采樣卷積模塊和瓶頸殘差結(jié)構(gòu)，所述輸出分支包括上采樣反卷積模塊和瓶頸殘差結(jié)構(gòu)；

所述下采樣卷積模塊包含3個卷積層，其卷積核的大小分別為7×7、4×4、4×4，所述輸入分支的瓶頸殘差結(jié)構(gòu)包含3個瓶頸層，其卷積核的大小均為3×3，所述上采樣卷積模塊包含2個反卷積層和1個卷積層，其卷積核的大小分別為4×4、4×4、7×7，所述輸出分支的瓶頸殘差結(jié)構(gòu)包含3個瓶頸層，其卷積核的大小均為3×3；

S22、利用兩個判別網(wǎng)絡(luò)用于區(qū)分生成圖像和真實圖像，網(wǎng)絡(luò)輸入為一張健康態(tài)人臉源圖像和一張病態(tài)人臉圖像，輸出的人臉圖像與病態(tài)圖像具有相同的病態(tài)特征，同時仍保留源圖像的主體信息；

S23、在生成網(wǎng)絡(luò)的輸入分支中加入特征提取模塊，對生成圖像的病態(tài)程度進行自定義控制，采用掩膜控制模塊對人臉局部區(qū)域進行病態(tài)特征遷移，實現(xiàn)生成對抗網(wǎng)絡(luò)模型的損失函數(shù)，其具體步驟包括：

利用特征提取模塊分別將兩個輸入分支的輸出特征圖送入到兩個1×1的卷積層，用于將輸入分支提取到的人臉內(nèi)在特征提取出兩個特征矩陣；

將遷移后的圖像特征圖輸入到輸出分支的下采樣卷積模塊最終生成圖像；

源圖像特征圖遷移后的圖像特征圖的公式為：

V_x′＝(αΓ_x+(1-α)Γ_y)V_x+(αB_x+(1-α)B_y)；

其中，為源圖像特征圖，V_x’為圖像特征圖，C、H、W分別表示通道數(shù)以及特征圖的高和寬，系數(shù)α用于控制生成圖像所遷移病態(tài)特征的病態(tài)程度，和表示源圖像的特征矩陣沿著通道數(shù)重復(fù)擴展的特征張量，和表示病態(tài)圖像的特征矩陣沿著通道數(shù)重復(fù)擴展的特征張量；

S3、將所述訓(xùn)練集輸入生成對抗網(wǎng)絡(luò)模型中進行訓(xùn)練，并調(diào)整參數(shù)優(yōu)化生成對抗網(wǎng)絡(luò)模型；

S4、將任意一張待處理的人臉源圖像和任意一張病態(tài)人臉圖像輸入到所述優(yōu)化后的生成對抗網(wǎng)絡(luò)模型，將病態(tài)人臉圖像的病態(tài)特征關(guān)鍵點遷移到人臉源圖像上，合成為增強后的病態(tài)人臉圖像。

2.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的病態(tài)人臉數(shù)據(jù)增強方法，其特征在于，所述步驟S1獲取病態(tài)人臉圖像和健康態(tài)人臉圖像并構(gòu)建訓(xùn)練集的具體步驟包括：

S11、獲取互聯(lián)網(wǎng)中人臉圖像數(shù)據(jù)，并刪除分辨率低、光照條件差的人臉圖像數(shù)據(jù)；

S12、根據(jù)人臉圖像數(shù)據(jù)，篩選出病態(tài)人臉圖像數(shù)據(jù)集和健康態(tài)人臉圖像數(shù)據(jù)集，并構(gòu)建病態(tài)人臉圖像數(shù)據(jù)集；

S13、對病態(tài)人臉圖像數(shù)據(jù)集中的所有人臉圖像進行關(guān)鍵點檢測，以人臉關(guān)鍵點進行人臉對齊，并根據(jù)兩眼的人臉關(guān)鍵點位置將圖像轉(zhuǎn)化為尺寸歸一化的人臉圖像。

3.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的病態(tài)人臉數(shù)據(jù)增強方法，其特征在于，所述掩膜控制模塊采用PSPNet語義分割網(wǎng)絡(luò)，通過對輸入的人臉圖像進行分割得到人臉掩膜M＝FP(x)表示各面部區(qū)域，所述各面部區(qū)域包括皮膚病皮損遷移的面部皮膚區(qū)域、眼部區(qū)域以及與病態(tài)特征無關(guān)的其他區(qū)域。

4.根據(jù)權(quán)利要求1所述一種基于生成對抗網(wǎng)絡(luò)的病態(tài)人臉數(shù)據(jù)增強方法，其特征在于，所述損失函數(shù)包括判別網(wǎng)絡(luò)D_X和D_Y的損失函數(shù)，公式分別為：

其中，X和Y分別表示健康態(tài)人臉源圖像數(shù)據(jù)域和病態(tài)人臉圖像數(shù)據(jù)域，x和y分別表示兩個數(shù)據(jù)域的樣本，x～p_data(x)，y～p_data(y)表示數(shù)據(jù)域滿足的分布。