[發明專利]一種基于生成對抗網絡的病態人臉數據增強方法

有效

• 申請號: 202011173820.2
• 申請日: 2020-10-28
• 公開（公告）號: CN112233017B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 陳雷;胡金雨;袁媛
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/40;G06T5/50;G06V40/16;G06V10/774;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/084;G06N3/094
• 代理公司: 合肥天明專利事務所(普通合伙) 34115
• 代理人: 婁岳

本發明公開了一種基于生成對抗網絡的病態人臉數據增強方法，包括獲取病態人臉圖像和健康態人臉圖像并構建訓練集；設計生成對抗網絡模型，利用特征提取模塊對輸出圖像病態程度進行自定義控制；將所述訓練集輸入生成對抗網絡模型中進行訓練，并調整參數優化生成對抗網絡模型；將任意一張待處理的人臉源圖像和任意一張病態人臉圖像輸入到所述優化后的生成對抗網絡模型，將病態人臉圖像的病態特征關鍵點遷移到人臉源圖像上，合成為增強后的病態人臉圖像。本發明解決了在缺少成對病態人臉圖像的條件下病態人臉圖像的自動增強生成，生成的病態人臉圖像的病態特征更加清晰，視覺效果理想，為人臉圖像的健康分析工作提供了足夠多的樣本數據。

技術領域

本發明涉及圖像到圖像翻譯方法技術領域，特別涉及一種基于生成對抗網絡的病態人臉數據增強方法。

背景技術

近年來，人臉識別技術獲得了長足進步，并越來越多地應用到健康醫學領域。在中醫診斷學中，某些面部特征如臉色、眼睛、嘴唇等能反映人體器官可能存在的病變和異常。我們通過計算機視覺技術從人臉圖像上提取檢測病態的細微特征如黑眼圈、痤瘡、面色等可用于人體的健康狀態評估和亞健康分析，所開發的系統作為一種健康監測工具應用于公共衛生設施以及家庭日常保健，具有極其廣泛的應用前景。

現有技術的不足之處在于，由于人臉圖像較為隱私，又牽涉到醫療行為部分，因此用于健康醫學領域的公開人臉數據資源甚少，大規模采集病態人臉數據難度較大，需要耗費大量人力與物力。同時常規的人臉數據集應用于基于人臉病態特征檢測識別任務中效果并不理想，自拍相機的美顏功能/化妝修飾、圖片分辨率低等一些問題使得面部細微病態特征如黑眼圈、痤瘡等不明顯，給人臉細微特征檢測識別帶來不小的困難，人臉數據存在類別嚴重不均衡的過采樣問題。

發明內容

本發明的目的克服現有技術存在的不足，以對存在病態人臉數據嚴重不足的問題進行解決。

為實現以上目的，采用一種基于生成對抗網絡的病態人臉數據增強方法，以解決上述背景技術中提出的問題。

一種基于生成對抗網絡的病態人臉數據增強方法，包括：

S1、獲取病態人臉圖像和健康態人臉圖像并構建訓練集；

S2、設計生成對抗網絡模型，利用加入生成對抗網絡模型中的特征提取模塊對輸出圖像病態程度進行自定義控制；

S3、將所述訓練集輸入生成對抗網絡模型中進行訓練，并調整參數優化生成對抗網絡模型；

S4、將任意一張待處理的人臉源圖像和任意一張病態人臉圖像輸入到所述優化后的生成對抗網絡模型，將病態人臉圖像的病態特征關鍵點遷移到人臉源圖像上，合成為增強后的病態人臉圖像。

作為本發明的進一步的方案：所述步驟S1獲取病態人臉圖像和健康態人臉圖像并構建訓練集的具體步驟包括：

S11、獲取互聯網中人臉圖像數據，并刪除分辨率低、光照條件差的人臉圖像數據；

S12、根據人臉圖像數據，篩選出病態人臉圖像數據集和健康態人臉圖像數據集，并構建病態人臉圖像數據集；

S13、對病態人臉圖像數據集中的所有人臉圖像進行關鍵點檢測，以人臉關鍵點進行人臉對齊，并根據兩眼的人臉關鍵點位置將圖像轉化為尺寸歸一化的人臉圖像。

作為本發明的進一步的方案：所述S2設計生成對抗網絡模型，利用加入生成對抗網絡模型中的特征提取模塊對輸出圖像病態程度進行自定義控制的具體步驟包括：

S21、設計生成對抗網絡模型，生成對抗網絡模型的生成網絡采用雙輸入輸出架構，將兩個輸入分支的輸出特征圖進行融合，再將融合后的特征圖輸出到若干個瓶頸殘差結構，經過兩個獨立的反卷積網絡上采樣最終得到生成圖像，所述輸入分支包括下采樣卷積模塊和瓶頸殘差結構，所述輸出分支包括上采樣反卷積模塊和瓶頸殘差結構；