[發(fā)明專利]一種基于新型生成對(duì)抗網(wǎng)絡(luò)的眼部圖像修復(fù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810078940.0
• 申請(qǐng)日: 2018-01-26
• 公開（公告）號(hào): CN108269245A
• 公開（公告）日: 2018-07-10
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于新型生成對(duì)抗網(wǎng)絡(luò)的眼部圖像修復(fù)方法，其特征在于，主要包括眼部圖像修復(fù)(一)；新型生成對(duì)抗網(wǎng)絡(luò)(二)；模型架構(gòu)(三)。

2.基于權(quán)利要求書1所述的眼部圖像修復(fù)(一)，其特征在于，使用參考圖像區(qū)域內(nèi)的樣本信息進(jìn)行修復(fù)，使用一個(gè)感知代碼描述該對(duì)象，在對(duì)抗網(wǎng)絡(luò)中的多個(gè)點(diǎn)上插入額外信息，增加其描述能力，產(chǎn)生更真實(shí)的修復(fù)效果。

3.基于權(quán)利要求書1所述的新型生成對(duì)抗網(wǎng)絡(luò)(二)，其特征在于，引入新型生成對(duì)抗網(wǎng)絡(luò)(ExGAN)，生成器創(chuàng)建圖像后，得到第二個(gè)圖像，使用第二個(gè)圖像的相關(guān)信息指導(dǎo)生成器，隨著越來越多的數(shù)據(jù)集被開發(fā)，假設(shè)特定對(duì)象的第二圖像合理存在，修復(fù)面部圖像時(shí)，采用同一個(gè)人在不同時(shí)間或不同姿勢(shì)的第二圖像作為參考圖像，網(wǎng)絡(luò)通過學(xué)習(xí)，將這些信息合并為一個(gè)語(yǔ)義指南，生成正確的修復(fù)結(jié)果，ExGAN在保留原始照片特征的同時(shí)，利用參考數(shù)據(jù)，在ExGAN中提出兩種獨(dú)立的方法來修復(fù)圖像：首先是基于參考圖像進(jìn)行修復(fù)的方法，在生成器G中參考圖像r_i作為向?qū)В阼b別器D中使用參考圖像r_i作為附加信息來確定所生成的圖像是否為真；其次是基于代碼的修復(fù)方法，在信息區(qū)域創(chuàng)建感知代碼c_i，將人眼圖像的壓縮版本存儲(chǔ)在向量中，其中每個(gè)目標(biāo)都以附加信息r_i和c_i為條件，為目標(biāo)添加額外的內(nèi)容損失項(xiàng)。

4.基于權(quán)利要求書3所述的鑒別器，其特征在于，鑒別器處理整個(gè)人臉圖像和放大的眼睛圖像，全局對(duì)抗性損失強(qiáng)化整體語(yǔ)義的一致性，局部對(duì)抗性損失確保所生成輸出的細(xì)節(jié)以及清晰度，全局卷積分支和局部卷積分支的輸出通過連接形成一個(gè)S形函數(shù)，在鑒別器D中輸入?yún)⒖紙D像，將額外的全局卷積分支添加到鑒別器中，把三個(gè)分支的輸出連接起來。

5.基于權(quán)利要求3所述的基于參考圖像進(jìn)行修復(fù)，其特征在于，訓(xùn)練集x_i中的每個(gè)圖像都存在一個(gè)對(duì)應(yīng)的參考圖像r_i，訓(xùn)練集X被定義為一個(gè)元組X＝{(x₁,r₁)}，在眼部圖像修復(fù)中，r_i是x_i中同一個(gè)人不同姿態(tài)的圖像，在x_i中移除修補(bǔ)程序生成新圖像z_i，將學(xué)習(xí)目標(biāo)定義為：

為了更好的普遍化，在訓(xùn)練集x_i中對(duì)應(yīng)地給定一組參考圖像集合R_i，將訓(xùn)練集擴(kuò)展到一個(gè)元組集合：X＝{x₁×R₁,…,x_n×R_n}，該集合由每個(gè)需要的修復(fù)圖像及其參考圖像之間的笛卡爾乘積組成。

6.基于權(quán)利要求3所述的基于代碼的修復(fù)，其特征在于，數(shù)據(jù)集中每個(gè)圖像的像素?cái)?shù)為|I|，假設(shè)存在一個(gè)壓縮函數(shù)其中N＜＜|I|，對(duì)于每個(gè)需要修復(fù)的圖像z_i及其相應(yīng)的參考圖像r_i，使用r_i生成代碼c_i＝C(r_i)，鑒于已編碼的樣本信息，將對(duì)抗目標(biāo)定義為：

其中，壓縮函數(shù)是一個(gè)將實(shí)例投影到某個(gè)流形上的通用深度網(wǎng)絡(luò)，等式(2)中的最后一項(xiàng)是感知區(qū)域中的生成圖像G(z_i,c_i)與原始參考圖像r_i距離的可選損失，與測(cè)量低維流形中生成圖像和參考圖像之間的距離相對(duì)應(yīng)，如果生成器G是完全卷積的，當(dāng)輸入c_i時(shí)，需要修改其架構(gòu)以便處理任意數(shù)量的向量。

7.基于權(quán)利要求書6所述的壓縮函數(shù)，其特征在于，為了生成感知代碼c_i，為壓縮函數(shù)C訓(xùn)練一個(gè)單獨(dú)的自動(dòng)編碼器，在訓(xùn)練C期間，編碼器選取單只眼睛作為輸入，自動(dòng)編碼器的解碼器分成左右分支，分別對(duì)應(yīng)左右眼不同的目標(biāo)，以確保編碼器學(xué)習(xí)雙眼的共同特征時(shí)沒有重復(fù)，通過編碼對(duì)特征進(jìn)行區(qū)分，每只眼睛都用128維度的浮點(diǎn)向量進(jìn)行編碼，通過組合這些編碼形成256維度的眼圖編碼。