[發明專利]一種基于紋理結構感知的二段式圖像修復方法

在審

• 申請號: 202110181043.4
• 申請日: 2021-02-09
• 公開（公告）號: CN112801914A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王瑾;張熙;王琛;高穎;朱青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明涉及一種基于紋理結構感知的二段式圖像修復方法，用于解決圖像修復的技術問題，具體包括兩個階段：圖像結構生成階段用于生成圖像缺失區域的結構信息；圖像內容生成階段將獲得的結構信息作為先驗，結合受損圖像的紋理和顏色信息來完成圖像；每個階段對應一個生成對抗網絡，兩個生成對抗網絡結構相同；圖像結構生成階段將受損圖像的灰度圖、結構圖和受損圖像的掩膜三種圖輸入圖像結構生成階段訓練完成的編碼器中，經過九個殘差塊和解碼器得到重構的結構圖；圖像內容生成階段：將重構得到的結構圖、受損圖像以及受損圖像的掩膜輸入到圖像內容生成階段訓練完成的編碼器，依次經過九個殘差塊和解碼器得到修復完成的圖像。

技術領域：

本發明涉及計算機圖像處理領域，具體涉及一種基于紋理結構感知的二段式圖像修復方法。

背景技術：

圖像修復是用視覺上的真實和語義上的相似的內容填充缺失區域的過程。這是一個經典的、具有挑戰性的圖像處理課題，廣泛應用于圖像編輯、基于圖像的渲染和計算攝影等領域。傳統的基于圖像塊的圖像修復方法是從已知區域搜索并復制最匹配的圖像塊到缺失的區域。這種傳統的圖像修復方法對靜態紋理的處理效果較好，但對人臉等復雜或非重復結構的紋理處理效果有限，不適用于高層語義信息的捕獲。

近年來，基于卷積神經網絡的方法在圖像修復領域取得了巨大的成功。Pathak等人首先利用對抗損失函數訓練深度神經網絡來預測缺失區域，這有利于捕獲大面積缺失區域的邊緣和全局結構。Ishikawa等人通過結合全局和局部的對抗損失函數來改進它，以產生更精細的紋理。Yu等人提出了一個上下文注意層來搜索背景區域中相似度最高的圖像塊。Yan等人引入了一種帶導向損失的轉換操作。Yang等人提出了一種多尺度神經片綜合(MNPs)方法，結合了基于CNN的方法和基于圖像塊的方法。Liu等人提出了部分卷積來避免生成的結果失真。然而，大多數這些現有的方法無法同時生成合理的結構和精細的紋理細節。

綜上，現有的圖像修復算法生成圖像質量較低，結構扭曲、紋理細節模糊，具有一定的局限性。

發明內容

本發明的目的是克服上述現有技術的缺點，提供一種質量高的圖像修復方法，該方法能有效地重構出合理的結構和精細的紋理，處理任意形狀的缺失區域，在視覺上生成合理的結果。

本發明的基于紋理結構感知的二段式圖像修復方法，將圖像修復任務分為兩個部分：圖像結構生成和圖像內容生成。在第一階段，網絡生成缺失區域的結構信息；而在第二階段，網絡將這些結構信息作為先驗，結合已有的紋理和顏色信息來完成圖像。整個網絡由兩個生成對抗網絡組成，生成器由編碼器、九個帶有空洞卷積的殘差塊和解碼器組成。采用PatchGAN架構來設計判別器。其中，編碼器由三個卷積層組成，解碼器由三個卷積層組成，判別器由5個卷積層構成。

利用訓練完成的兩階段生成器進行圖像修復：

第一階段：將受損圖像的灰度圖、結構圖和受損圖像掩膜三種圖輸入圖像結構生成階段訓練完成的編碼器中，經過九個殘差塊和解碼器得到重構的結構圖。

第二階段：將第一階段重構得到的結構圖、受損圖像以及受損圖像的掩膜輸入圖像內容生成階段訓練完成的編碼器中，依次經過九個殘差塊和解碼器得到修復完成的圖像。

在圖像修復前需要對兩階段生成對抗網絡進行訓練，具體訓練過程如下

步驟一：將訓練集中受損圖像的灰度圖、結構圖和掩膜輸入第一階段生成器網絡中，第一階段判別器判別圖像真偽，通過損失函數迭代地調整參數，最終得到重建的結構圖

步驟二：將步驟一重建得到的結構圖和訓練集中受損圖像輸入第二階段的生成器網絡，通過第二階段的判別器判別圖像真偽，通過損失函數迭代地調整參數，生成修復后的圖像

每個步驟的具體操作如下：