[發明專利]一種基于美學評價的帶參考人眼圖像修復方法

有效

• 申請號: 201910065383.3
• 申請日: 2019-01-23
• 公開（公告）號: CN109919830B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 顏波;林青;巴合提亞爾·巴熱;譚偉敏
• 申請（專利權）人: 復旦大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于數字圖像智能處理技術領域，具體為一種基于美學評價的帶參考人眼圖像修復方法。圖像修復是指利用算法來替換已丟失或者損壞的圖像數據。人眼圖像修復主要用于拍照中的閉眼、斜眼等情況，以產生真實、自然、美觀的新人眼。本發明方法包括：從待修復圖像中標記出眼睛的位置；基于人眼美學評價和人臉結構相似性選擇參考圖；對參考圖片提取眼部位置；將輸入圖像、參考圖像和對應的眼部標記共同載入生成器，通過深度網絡生成修復的人臉圖像。在網絡的訓練中引入全局判別器、局部判別器和人臉語義解析網絡來輔助生成器學習人眼修復任務。實驗結果表明，本發明可以生成自然美觀且與原面部相符的人眼，有效解決人眼修復問題。

技術領域

本發明屬于數字圖像智能處理技術領域，具體涉及一種圖像修復方法，更具體的說，涉及一種基于美學評價的帶參考人眼圖像修復方法。

背景技術

近年來，圖像修復問題在應用深度學習技術的條件下已經實現了較好的修復效果，修復出的圖像在視覺上與真實圖像相差無幾。因此，深度學習技術成為圖像修復問題上的一個研究熱點。人臉修復問題作為圖像修復問題的一個分支，是一種常見的人臉圖像編輯技術。

生成對抗性網絡(Generative adversarial networks，GANs)^[1]是一種特殊類型的深度網絡，它包含了一個可學習的對抗性損失函數。GAN網絡已被成功地用于從零開始生成人臉，或用于補全面部缺失區域。網絡生成的人臉圖像既可以與原始人臉圖像一樣精確，也可以與未遮擋人臉圖像在內容上保持一致，以使生成的圖像看起來具有真實的視覺感受。如何修改對抗生成網絡以使其更好的適應圖像修復問題來構造更有效的生成模型已經得到了越來越多的關注。

目前已有的網絡模型，可以生成視覺上真實的人臉，但是在一些臉部細節的生成上還有待改進。S.Iizuka等人提出使用全局和局部兩個判別器代替原始的判別器^[2]，并且使用空洞卷積代替普通的卷積，使得網絡擁有更大的感受野，生成更加細致的局部信息。

人眼圖像修復是人臉修復問題中的一個分支，主要用于拍照中的閉眼、斜眼等情況，以產生真實、自然、美觀的新人眼。ExGAN是一種有條件的GAN網絡^[3]，利用參考信息產生高質量、個性化的人眼修復效果。與以往的GAN網絡相比，帶有參考信息的GAN網絡可以生成更加符合人物身份的新人眼，但是隨機選擇參考圖的方式讓網絡的性能并不穩定。相比之下，選擇合適的參考圖選擇指標，可以讓GAN網絡的學習更具目標性。

此外，在生成真實圖像的基礎上，人眼圖像修復問題也注重人眼細節和人眼美觀的表現。現有技術生成的人眼由于GAN網絡的一些缺陷，會存在語義上一致但是視覺上不美觀的問題，臉部細節也比較模糊，并且在帶有遮擋和側面的人臉圖像上效果不佳。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種產生真實、自然、美觀的新人眼圖像的基于美學評價的帶參考人眼圖像修復方法。

本發明提供的基于美學評價的帶參考人眼圖像修復方法，主要針對拍照中出現的閉眼、眨眼、斜眼等眼部不美觀的情況，構造深度神經網絡作為人眼圖像生成器，同時引入全局判別器、局部判別器和人臉語義解析網絡來輔助生成器學習人眼修復任務，使得生成器可以產生真實、自然、美觀的新人眼圖像。

本發明提供的基于美學評價的帶參考人眼圖像修復方法，具體步驟如下：

(1)從輸入的待修復圖像中標記出眼睛的位置

通過人臉關鍵點的檢測工具，標記出待修復圖像X的人眼中心點位置(x_left,y_left)和(x_right,y_right)；構建一個與原圖像大小相同的全零矩陣M，以兩個中心點為圓心，分別構造兩個橢圓形mask，并將矩陣M對應位置置為1。