[發(fā)明專利]一種基于注意力生成對抗網(wǎng)絡(luò)人臉卡通畫生成方法

有效

• 申請?zhí)枺?/td>: 202110305575.4
• 申請日: 2021-03-23
• 公開（公告）號: CN112950661B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 于泗泓
• 申請（專利權(quán)）人: 大連民族大學(xué);賽爾網(wǎng)絡(luò)有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/136;G06T7/90;G06V10/25;G06V10/44;G06V10/56;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 大連星海專利事務(wù)所有限公司 21208
• 代理人: 郭海英

1.一種基于注意力生成對抗網(wǎng)絡(luò)人臉卡通畫生成方法，其特征在于，包括以下步驟:

步驟1，構(gòu)建人臉數(shù)據(jù)集，下載selfie2anime數(shù)據(jù)集，從Anime?Planet?爬取人臉數(shù)據(jù)集，所有圖像大小均調(diào)整為256×256；

步驟2，獲得人臉關(guān)鍵特征的輪廓檢測圖像，輸入步驟1中的人臉數(shù)據(jù)集圖像，利用DLIB的HOG進行人臉關(guān)鍵點檢測，得到人臉橢圓特征區(qū)域，通過68關(guān)鍵點檢測方法，得到人臉特征關(guān)鍵點區(qū)域，采用YCrCb顏色空間Cr分量和Otsu算法閾值分割采集計算臉部區(qū)域膚色獲得感興趣區(qū)域ROI，將獲得的三個區(qū)域進行并集計算得到人臉關(guān)鍵特征的輪廓檢測圖像；

步驟3，構(gòu)建基于U-GAT-IT方法的無監(jiān)督注意力機制網(wǎng)絡(luò)，在生成器和判別器的編碼器之前、解碼器之后分別增加1個hourglass模塊，結(jié)合注意力模塊和自適應(yīng)歸一化模塊建立基于U-GAT-IT方法的無監(jiān)督注意力機制網(wǎng)絡(luò)，通過分類激活映射CAM模塊獲得注意力圖以區(qū)分源域和目標(biāo)域；

步驟4，以步驟2得到的人臉關(guān)鍵特征的輪廓檢測圖像作為訓(xùn)練數(shù)據(jù)集，使用Adam訓(xùn)練步驟3構(gòu)建的基于U-GAT-IT方法的無監(jiān)督注意力機制網(wǎng)絡(luò)，設(shè)置參數(shù)β1=0.5，β2=0.999，采用0.0001的固定學(xué)習(xí)率、0.0001的權(quán)重衰減率訓(xùn)練模型，權(quán)重從零中心正態(tài)分布初始化，基本模型的標(biāo)準(zhǔn)偏差為0.02；

步驟5，輸入新的圖片，根據(jù)步驟2得到人臉關(guān)鍵特征的輪廓檢測圖像，輸入到步驟4訓(xùn)練好的基于U-GAT-IT方法的無監(jiān)督注意力機制網(wǎng)絡(luò)中生成卡通生成圖像；

步驟6，利用泊松融合的方法將步驟5獲得的卡通生成圖像與原始圖片進行融合，得到目標(biāo)圖像。

2.根據(jù)權(quán)利要求1所述的一種基于注意力生成對抗網(wǎng)絡(luò)人臉卡通畫生成方法，其特征在于，步驟2獲得人臉關(guān)鍵特征的輪廓檢測圖像包含如下步驟：

步驟21，利用DLIB的HOG特征檢測器檢測人臉區(qū)域，采用下式計算每個像素點的梯度，得到包圍區(qū)域頂點坐標(biāo)，根據(jù)面部特征去擬合額頭區(qū)域，得到最小化人臉橢圓特征區(qū)域：

其中，Gx，Gy分別為原圖水平方向和垂直方向的梯度，H為數(shù)字圖像的像素灰度值，G（x，y）為像素點（x，y）的梯度大小，α（x，y）為像素點（x，y）的梯度方向；

步驟22，采用基于Ensemble?of?Regression?Tress算法的人臉對齊檢測人臉關(guān)鍵點，得到68個關(guān)鍵點的坐標(biāo)，包含眼鏡、眉毛、鼻子和嘴巴四個主要特征，取最外層27個點獲得一個不規(guī)則形狀，得到人臉關(guān)鍵點區(qū)域；

步驟23，根據(jù)膚色提取特征，采用YCrCb顏色空間將RGB圖像轉(zhuǎn)換到Y(jié)CrCb顏色空間，提取Cr分量圖像，采用Otsu算法對Cr分量圖像做二值化閾值分割處理，計算臉部區(qū)域膚色獲得感興趣區(qū)域ROI；

步驟24，將步驟21、步驟22和步驟23得到的最小化人臉橢圓特征區(qū)域、人臉關(guān)鍵點區(qū)域和感興趣區(qū)域ROI進行并集計算得到人臉關(guān)鍵特征的輪廓檢測圖像。