[發明專利]一種基于注意力生成對抗網絡人臉卡通畫生成方法

有效

• 申請號: 202110305575.4
• 申請日: 2021-03-23
• 公開（公告）號: CN112950661B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 于泗泓
• 申請（專利權）人: 大連民族大學;賽爾網絡有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/136;G06T7/90;G06V10/25;G06V10/44;G06V10/56;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 大連星海專利事務所有限公司 21208
• 代理人: 郭海英

1.一種基于注意力生成對抗網絡人臉卡通畫生成方法，其特征在于，包括以下步驟:

步驟1，構建人臉數據集，下載selfie2anime數據集，從Anime?Planet?爬取人臉數據集，所有圖像大小均調整為256×256；

步驟2，獲得人臉關鍵特征的輪廓檢測圖像，輸入步驟1中的人臉數據集圖像，利用DLIB的HOG進行人臉關鍵點檢測，得到人臉橢圓特征區域，通過68關鍵點檢測方法，得到人臉特征關鍵點區域，采用YCrCb顏色空間Cr分量和Otsu算法閾值分割采集計算臉部區域膚色獲得感興趣區域ROI，將獲得的三個區域進行并集計算得到人臉關鍵特征的輪廓檢測圖像；

步驟3，構建基于U-GAT-IT方法的無監督注意力機制網絡，在生成器和判別器的編碼器之前、解碼器之后分別增加1個hourglass模塊，結合注意力模塊和自適應歸一化模塊建立基于U-GAT-IT方法的無監督注意力機制網絡，通過分類激活映射CAM模塊獲得注意力圖以區分源域和目標域；

步驟4，以步驟2得到的人臉關鍵特征的輪廓檢測圖像作為訓練數據集，使用Adam訓練步驟3構建的基于U-GAT-IT方法的無監督注意力機制網絡，設置參數β1=0.5，β2=0.999，采用0.0001的固定學習率、0.0001的權重衰減率訓練模型，權重從零中心正態分布初始化，基本模型的標準偏差為0.02；

步驟5，輸入新的圖片，根據步驟2得到人臉關鍵特征的輪廓檢測圖像，輸入到步驟4訓練好的基于U-GAT-IT方法的無監督注意力機制網絡中生成卡通生成圖像；

步驟6，利用泊松融合的方法將步驟5獲得的卡通生成圖像與原始圖片進行融合，得到目標圖像。

2.根據權利要求1所述的一種基于注意力生成對抗網絡人臉卡通畫生成方法，其特征在于，步驟2獲得人臉關鍵特征的輪廓檢測圖像包含如下步驟：

步驟21，利用DLIB的HOG特征檢測器檢測人臉區域，采用下式計算每個像素點的梯度，得到包圍區域頂點坐標，根據面部特征去擬合額頭區域，得到最小化人臉橢圓特征區域：

其中，Gx，Gy分別為原圖水平方向和垂直方向的梯度，H為數字圖像的像素灰度值，G（x，y）為像素點（x，y）的梯度大小，α（x，y）為像素點（x，y）的梯度方向；

步驟22，采用基于Ensemble?of?Regression?Tress算法的人臉對齊檢測人臉關鍵點，得到68個關鍵點的坐標，包含眼鏡、眉毛、鼻子和嘴巴四個主要特征，取最外層27個點獲得一個不規則形狀，得到人臉關鍵點區域；

步驟23，根據膚色提取特征，采用YCrCb顏色空間將RGB圖像轉換到YCrCb顏色空間，提取Cr分量圖像，采用Otsu算法對Cr分量圖像做二值化閾值分割處理，計算臉部區域膚色獲得感興趣區域ROI；

步驟24，將步驟21、步驟22和步驟23得到的最小化人臉橢圓特征區域、人臉關鍵點區域和感興趣區域ROI進行并集計算得到人臉關鍵特征的輪廓檢測圖像。