[發(fā)明專利]一種基于美學(xué)評價的帶參考人眼圖像修復(fù)方法

有效

• 申請?zhí)枺?/td>: 201910065383.3
• 申請日: 2019-01-23
• 公開（公告）號: CN109919830B
• 公開（公告）日: 2023-02-10
• 發(fā)明（設(shè)計）人: 顏波;林青;巴合提亞爾·巴熱;譚偉敏
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于美學(xué)評價的帶參考人眼圖像修復(fù)方法，其特征在于，具體步驟如下：

(1)從輸入的待修復(fù)圖像中標(biāo)記出眼睛的位置

通過人臉關(guān)鍵點的檢測工具，標(biāo)記出待修復(fù)圖像X的人眼中心點位置(x_left,y_left)和(x_right,y_right)；構(gòu)建一個與原圖像大小相同的全零矩陣M，以兩個中心點為圓心，分別構(gòu)造兩個橢圓形mask，并將矩陣M對應(yīng)位置置為1；

(2)基于人眼美學(xué)評價和人臉結(jié)構(gòu)相似性選擇參考圖像

在待修復(fù)圖像的同一身份的不同圖片中，選擇一張人眼美學(xué)評價為高質(zhì)量且與X具有最高結(jié)構(gòu)相似性的圖片作為參考圖像R；

(3)對參考圖像提取感知特征和眼部位置

用與輸入圖像標(biāo)記眼睛相同的方法，構(gòu)建參考圖像的眼部標(biāo)記矩陣M_r；

(4)生成修復(fù)的人臉圖像

將輸入圖像、參考圖像和對應(yīng)的眼部標(biāo)記共同載入生成器網(wǎng)絡(luò)，通過深度生成器網(wǎng)絡(luò)生成修復(fù)的人臉圖像；其中，生成器網(wǎng)絡(luò)由編碼器、轉(zhuǎn)換器和譯碼器組成；編碼器利用卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中提取特征，將圖像壓縮成256個64×64的特征向量；轉(zhuǎn)換器使用6層ResNet模塊，每個ResNet模塊是由兩個卷積層構(gòu)成的神經(jīng)網(wǎng)絡(luò)層，用于在轉(zhuǎn)換特征時保留原始圖像特征；解碼器利用反卷積層完成從特征向量中還原出低級特征的工作，最終得到生成圖像；

(5)通過優(yōu)化損失函數(shù)更新生成器、判別器的參數(shù)

在訓(xùn)練中，引入全局判別器、局部判別器和人臉語義解析網(wǎng)絡(luò)來輔助生成器學(xué)習(xí)人眼修復(fù)任務(wù)；判別器作為二值分類器用來區(qū)分真實圖像和假圖像；判別器為一種卷積神經(jīng)網(wǎng)絡(luò)，從圖像中提取特征，再通過添加一個產(chǎn)生一維輸出的卷積層來確定提取的特征是否屬于特定類別；全局判別器用于確保整個圖像的真實性，而局部判別器用于生成修復(fù)局部的細節(jié)；將全局和局部兩個判別器的輸出連接成一個2048維的向量，通過一個全連接層然后用sigmoid函數(shù)得到整體圖像一致性的分數(shù)；

通過輸入圖像與修復(fù)圖像之間的重構(gòu)損失計算生成器參數(shù)的梯度，通過真實圖像和生成圖像計算全局判別器參數(shù)的梯度，通過真實圖像和生成圖像的眼部計算局部判別器參數(shù)的梯度，通過梯度回傳更新網(wǎng)絡(luò)的參數(shù)；

人臉語義解析網(wǎng)絡(luò)是一個預(yù)先訓(xùn)練好的模型，在訓(xùn)練時參數(shù)是固定的，通過真實圖像和生成圖像的人臉語義分割標(biāo)簽計算解析損失，促進新舊像素之間的語義一致性，使得新生成的照片更真實；在測試時，網(wǎng)絡(luò)只使用生成器；

人臉語義解析網(wǎng)絡(luò)是一種與語義分割方法有相似之處的全卷積編解碼網(wǎng)絡(luò)，使用VGG-16網(wǎng)絡(luò)中的“fc6”層作為編碼器，解碼器由6個反卷積模塊組成；網(wǎng)絡(luò)共有11個輸出，對應(yīng)的分割區(qū)域分別為背景、人臉、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、牙齒、下嘴唇和頭發(fā)；將生成圖像的解析結(jié)果與原始圖像的解析結(jié)果進行比較，使用Softmax Cross-EntropyLoss作為網(wǎng)絡(luò)的解析損失L_p；解析損失最終被反向傳播到生成器，使得生成器被迫學(xué)習(xí)在哪里生成具有更自然形狀和大小的臉部特征。

2.根據(jù)權(quán)利要求1所述的基于美學(xué)評價的帶參考人眼圖像修復(fù)方法，其特征在于，步驟(2)中，人眼美學(xué)評價指標(biāo)分為高質(zhì)量與低質(zhì)量兩種，評價網(wǎng)絡(luò)是基于人眼屬性評測的深度網(wǎng)絡(luò)，網(wǎng)絡(luò)包括3個卷積模塊、9個殘差塊和一個全連接層；每一個卷積模塊包含1個卷積層、1個歸一化層、1個relu激活層和1個最大池化層，卷積層的特征圖在池化層的作用下分辨率逐漸減小；網(wǎng)絡(luò)的最終輸出為人眼評價的預(yù)測結(jié)果。

3.根據(jù)權(quán)利要求2所述的基于美學(xué)評價的帶參考人眼圖像修復(fù)方法，其特征在于，在CAS-PEAL人臉數(shù)據(jù)集的基礎(chǔ)上，提出一個新的人眼數(shù)據(jù)集，共1040張人眼圖片；通過屬性評分劃分成高質(zhì)量和低質(zhì)量兩類各500張，評測屬性為人眼大小、是否雙眼皮、眼間距和眼睛長度的關(guān)系、外眥是否高于內(nèi)眥四項；訓(xùn)練時數(shù)據(jù)集平均劃分成5份，進行交叉驗證。