[發(fā)明專利]一種基于美學(xué)評(píng)價(jià)的帶參考人眼圖像修復(fù)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910065383.3
• 申請(qǐng)日: 2019-01-23
• 公開(kāi)（公告）號(hào): CN109919830B
• 公開(kāi)（公告）日: 2023-02-10
• 發(fā)明（設(shè)計(jì)）人: 顏波;林青;巴合提亞爾·巴熱;譚偉敏
• 申請(qǐng)（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于美學(xué)評(píng)價(jià)的帶參考人眼圖像修復(fù)方法，其特征在于，具體步驟如下：

(1)從輸入的待修復(fù)圖像中標(biāo)記出眼睛的位置

通過(guò)人臉關(guān)鍵點(diǎn)的檢測(cè)工具，標(biāo)記出待修復(fù)圖像X的人眼中心點(diǎn)位置(x_left,y_left)和(x_right,y_right)；構(gòu)建一個(gè)與原圖像大小相同的全零矩陣M，以兩個(gè)中心點(diǎn)為圓心，分別構(gòu)造兩個(gè)橢圓形mask，并將矩陣M對(duì)應(yīng)位置置為1；

(2)基于人眼美學(xué)評(píng)價(jià)和人臉結(jié)構(gòu)相似性選擇參考圖像

在待修復(fù)圖像的同一身份的不同圖片中，選擇一張人眼美學(xué)評(píng)價(jià)為高質(zhì)量且與X具有最高結(jié)構(gòu)相似性的圖片作為參考圖像R；

(3)對(duì)參考圖像提取感知特征和眼部位置

用與輸入圖像標(biāo)記眼睛相同的方法，構(gòu)建參考圖像的眼部標(biāo)記矩陣M_r；

(4)生成修復(fù)的人臉圖像

將輸入圖像、參考圖像和對(duì)應(yīng)的眼部標(biāo)記共同載入生成器網(wǎng)絡(luò)，通過(guò)深度生成器網(wǎng)絡(luò)生成修復(fù)的人臉圖像；其中，生成器網(wǎng)絡(luò)由編碼器、轉(zhuǎn)換器和譯碼器組成；編碼器利用卷積神經(jīng)網(wǎng)絡(luò)從輸入圖像中提取特征，將圖像壓縮成256個(gè)64×64的特征向量；轉(zhuǎn)換器使用6層ResNet模塊，每個(gè)ResNet模塊是由兩個(gè)卷積層構(gòu)成的神經(jīng)網(wǎng)絡(luò)層，用于在轉(zhuǎn)換特征時(shí)保留原始圖像特征；解碼器利用反卷積層完成從特征向量中還原出低級(jí)特征的工作，最終得到生成圖像；

(5)通過(guò)優(yōu)化損失函數(shù)更新生成器、判別器的參數(shù)

在訓(xùn)練中，引入全局判別器、局部判別器和人臉語(yǔ)義解析網(wǎng)絡(luò)來(lái)輔助生成器學(xué)習(xí)人眼修復(fù)任務(wù)；判別器作為二值分類器用來(lái)區(qū)分真實(shí)圖像和假圖像；判別器為一種卷積神經(jīng)網(wǎng)絡(luò)，從圖像中提取特征，再通過(guò)添加一個(gè)產(chǎn)生一維輸出的卷積層來(lái)確定提取的特征是否屬于特定類別；全局判別器用于確保整個(gè)圖像的真實(shí)性，而局部判別器用于生成修復(fù)局部的細(xì)節(jié)；將全局和局部?jī)蓚€(gè)判別器的輸出連接成一個(gè)2048維的向量，通過(guò)一個(gè)全連接層然后用sigmoid函數(shù)得到整體圖像一致性的分?jǐn)?shù)；

通過(guò)輸入圖像與修復(fù)圖像之間的重構(gòu)損失計(jì)算生成器參數(shù)的梯度，通過(guò)真實(shí)圖像和生成圖像計(jì)算全局判別器參數(shù)的梯度，通過(guò)真實(shí)圖像和生成圖像的眼部計(jì)算局部判別器參數(shù)的梯度，通過(guò)梯度回傳更新網(wǎng)絡(luò)的參數(shù)；

人臉語(yǔ)義解析網(wǎng)絡(luò)是一個(gè)預(yù)先訓(xùn)練好的模型，在訓(xùn)練時(shí)參數(shù)是固定的，通過(guò)真實(shí)圖像和生成圖像的人臉語(yǔ)義分割標(biāo)簽計(jì)算解析損失，促進(jìn)新舊像素之間的語(yǔ)義一致性，使得新生成的照片更真實(shí)；在測(cè)試時(shí)，網(wǎng)絡(luò)只使用生成器；

人臉語(yǔ)義解析網(wǎng)絡(luò)是一種與語(yǔ)義分割方法有相似之處的全卷積編解碼網(wǎng)絡(luò)，使用VGG-16網(wǎng)絡(luò)中的“fc6”層作為編碼器，解碼器由6個(gè)反卷積模塊組成；網(wǎng)絡(luò)共有11個(gè)輸出，對(duì)應(yīng)的分割區(qū)域分別為背景、人臉、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、牙齒、下嘴唇和頭發(fā)；將生成圖像的解析結(jié)果與原始圖像的解析結(jié)果進(jìn)行比較，使用Softmax Cross-EntropyLoss作為網(wǎng)絡(luò)的解析損失L_p；解析損失最終被反向傳播到生成器，使得生成器被迫學(xué)習(xí)在哪里生成具有更自然形狀和大小的臉部特征。

2.根據(jù)權(quán)利要求1所述的基于美學(xué)評(píng)價(jià)的帶參考人眼圖像修復(fù)方法，其特征在于，步驟(2)中，人眼美學(xué)評(píng)價(jià)指標(biāo)分為高質(zhì)量與低質(zhì)量?jī)煞N，評(píng)價(jià)網(wǎng)絡(luò)是基于人眼屬性評(píng)測(cè)的深度網(wǎng)絡(luò)，網(wǎng)絡(luò)包括3個(gè)卷積模塊、9個(gè)殘差塊和一個(gè)全連接層；每一個(gè)卷積模塊包含1個(gè)卷積層、1個(gè)歸一化層、1個(gè)relu激活層和1個(gè)最大池化層，卷積層的特征圖在池化層的作用下分辨率逐漸減小；網(wǎng)絡(luò)的最終輸出為人眼評(píng)價(jià)的預(yù)測(cè)結(jié)果。

3.根據(jù)權(quán)利要求2所述的基于美學(xué)評(píng)價(jià)的帶參考人眼圖像修復(fù)方法，其特征在于，在CAS-PEAL人臉數(shù)據(jù)集的基礎(chǔ)上，提出一個(gè)新的人眼數(shù)據(jù)集，共1040張人眼圖片；通過(guò)屬性評(píng)分劃分成高質(zhì)量和低質(zhì)量?jī)深惛?00張，評(píng)測(cè)屬性為人眼大小、是否雙眼皮、眼間距和眼睛長(zhǎng)度的關(guān)系、外眥是否高于內(nèi)眥四項(xiàng)；訓(xùn)練時(shí)數(shù)據(jù)集平均劃分成5份，進(jìn)行交叉驗(yàn)證。