[發明專利]一種基于新型生成對抗網絡的眼部圖像修復方法

在審

• 申請號: 201810078940.0
• 申請日: 2018-01-26
• 公開（公告）號: CN108269245A
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于新型生成對抗網絡的眼部圖像修復方法，其主要內容包括：眼部圖像修復、新型生成對抗網絡、模型架構，其過程為引入新型生成對抗網絡(ExGAN)，使用由生成器創建的第二個圖像相關信息指導生成器，修復面部圖像時，采用同一個人在不同時間或不同姿勢的第二圖像作為參考圖像，ExGAN在保留原始照片特征的同時，利用參考數據，在ExGAN中提出分別提出基于參考圖像和代碼進行修復的方法。本發明使用參考圖像區域內的樣本信息進行修復，使用一個感知代碼描述該對象，在對抗網絡中的多個點上插入額外信息，增加其描述能力，有利于產生如原圖像一樣高質量、栩栩如生的個性化修復效果。

技術領域

本發明涉及圖像處理領域，尤其是涉及了一種基于新型生成對抗網絡的眼部圖像修復方法。

背景技術

眼部圖像修復是圖像處理中的一個重要內容，其目的是利用圖像現有的信息來恢復丟失的信息，常用于公安、交通、醫學、軍事偵查等領域。具體地，在公安領域，可用于公安圖片中的人臉鑒別以及不完整圖片的復原。在交通領域，可以利用圖像修復分析交通事故，去除事故圖片的噪音。在醫學領域，有助于X光肺部圖像增晰、超聲波圖像處理等。而在軍事領域，刑事取證中讀取眼部圖像的關鍵信息至關重要。但是在公安、醫學、軍事偵察以及日常生活的活體檢測中常常由于攝像設備光學系統的失真、調焦不準、相對運動或人物眨眼閉眼等造成圖像的模糊，使得信息的提取變得困難，消除圖像中的噪聲影響也越來越重要，比如從快速運動的人群中識別出嫌疑人、從公安刑事影像資料中提取證明或進行技術鑒定等等，這些重要應用都需要通過圖像修復技術來盡可能地去除失真，進行人物閉眼圖像恢復等，因此對于眼部圖像修復的技術研究具有重要的現實意義。

本發明提出了一種基于新型生成對抗網絡的眼部圖像修復方法，引入新型生成對抗網絡(ExGAN)，使用由生成器創建的第二個圖像相關信息指導生成器，隨著越來越多的數據集被開發，假設特定對象的第二圖像合理存在，修復面部圖像時，采用同一個人在不同時間或不同姿勢的第二圖像作為參考圖像，ExGAN在保留原始照片特征的同時，利用參考數據，提出基于參考圖像和代碼進行修復的方法。本發明使用參考圖像區域內的樣本信息進行修復，使用一個感知代碼描述該對象，在對抗網絡中的多個點上插入額外信息，增加其描述能力，有利于產生如原圖像一樣高質量、栩栩如生的個性化修復效果。

發明內容

針對眼部圖像修復，本發明提出了一種基于新型生成對抗網絡的眼部圖像修復方法，引入新型生成對抗網絡(ExGAN)，使用由生成器創建的第二個圖像相關信息指導生成器，修復面部圖像時，采用同一個人在不同時間或不同姿勢的第二圖像作為參考圖像，ExGAN在保留原始照片特征的同時，利用參考數據，分別提出基于參考圖像和代碼進行修復的方法。

為解決上述問題，提出了一種基于新型生成對抗網絡的眼部圖像修復方法，其主要內容包括：

(一)眼部圖像修復；

(二)新型生成對抗網絡；

(三)模型架構。

其中，所述的眼部圖像修復，使用參考圖像區域內的樣本信息進行修復，使用一個感知代碼描述該對象，在對抗網絡中的多個點上插入額外信息，增加其描述能力，產生更真實的修復效果。