[發明專利]一種基于紋理結構感知的二段式圖像修復方法

在審

• 申請號: 202110181043.4
• 申請日: 2021-02-09
• 公開（公告）號: CN112801914A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 王瑾;張熙;王琛;高穎;朱青
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于紋理結構感知的二段式圖像修復方法，其特征在于：將圖像修復任務分為兩個階段：圖像結構生成階段和圖像內容生成階段；所述的圖像結構生成階段用于生成圖像缺失區域的結構信息；所述的圖像內容生成階段，將獲得的結構信息作為先驗，結合受損圖像的紋理和顏色信息來完成圖像；每個階段對應一個生成對抗網絡，兩個生成對抗網絡結構相同，所述生成對抗網絡包括生成器和判別器；

圖像結構生成階段：將受損圖像的灰度圖、結構圖和受損圖像的掩膜三種圖輸入圖像結構生成階段訓練完成的編碼器中，經過九個殘差塊和解碼器得到重構的結構圖；

圖像內容生成階段：將重構得到的結構圖、受損圖像以及受損圖像的掩膜輸入到圖像內容生成階段訓練完成的編碼器，依次經過九個殘差塊和解碼器得到修復完成的圖像。

2.根據權利要求1所述的一種基于紋理結構感知的二段式圖像修復方法，其特征在于：所述生成器由依次串聯的編碼器、殘差塊和解碼器組成。

3.根據權利要求2所述的一種基于紋理結構感知的二段式圖像修復方法，其特征在于：編碼器由三個卷積層串聯組成，殘差塊為九個帶有空洞卷積的殘差塊串聯組成，解碼器由三個卷積層串聯組成，判別器由5個卷積層串聯構成，判別器采用PatchGAN架構。

4.根據權利要求1所述的一種基于紋理結構感知的二段式圖像修復方法，其特征在于：兩階段生成對抗網絡的訓練過程如下，

步驟一：將訓練集中受損圖像的灰度圖、結構圖和受損圖像的掩膜輸入圖像結構生成階段的生成器網絡中，圖像結構生成階段的判別器判別圖像真偽，通過損失函數迭代地調整參數，最終得到重建的結構圖

步驟二：將步驟一重建得到的結構圖和受損圖像輸入圖像內容生成階段的生成器網絡，通過該階段的判別器判別圖像真偽，通過損失函數迭代地調整參數，生成修復后的圖像

完成訓練；

5.根據權利要求4所述的一種基于紋理結構感知的二段式圖像修復方法，其特征在于：

步驟一的具體操作：

(1.1)對真實圖像I_gt，取該圖像的灰度對應圖I_gray和結構圖S_gt，得到受損圖像圖像的掩膜為M，M是一個二值掩膜，含義是，輸入的受損圖像相對于真實圖像而言，受損的區域值為1，其他區域值為0；其中所述的真實圖像I_gt是訓練數據集中，對應于受損圖像的完整圖像；

(1.2)將訓練集中受損圖像的灰度圖、結構圖和受損圖像的掩膜輸入圖像結構生成階段的生成器，圖像結構生成階段的生成器根據下式預測缺失區域的結構：

式中，G_s表示圖像結構生成階段的生成器，表示受損圖像的灰度圖，表示受損圖像的結構圖，表示重建的結構圖；

圖像結構生成階段網絡的訓練目標函數由L1損失函數對抗性損失函數和特征匹配損失函數L_fm組成，

其中，

對抗性損失函數如下：

式中，D_s是第一階段的判別器，E是指數學期望，即符合真實圖像的概率分布的數學期望；

特征匹配損失函數如下：

式中，是圖像結構生成階段判別器第i卷積層(i＝1，2，...，5)的激活值，N_i是第i層的元素個數，l是指圖像結構生成階段判別器的卷積層的個數；

圖像結構生成階段網絡的目標函數為：

其中，λ_fm為權重系數；

通過損失函數迭代地調整參數，最終得到重建的結構圖

6.根據權利要求5所述的一種基于紋理結構感知的二段式圖像修復方法，其特征在于：

步驟二的具體操作：將步驟一重建的結構圖和受損圖像以及掩膜M輸入圖像內容生成階段的生成網絡，圖像內容生成階段的生成器根據下式生成最后的圖像結果：

式中，G_c表示圖像內容生成階段的生成器；

圖像內容生成階段網絡的訓練目標函數由對抗性損失函數感知損失函數L_per和風格損失函數L_style組成；

其中，對抗損失函數函數如下：

式中，D_c是圖像內容生成階段的判別器；

引入感知損失函數用于修復完成的圖像在高層語義上與真實圖像相似，感知損失函數的定義如下：

式中，Φⁱ(·)表示預訓練VGG-19網絡中第i層的激活圖，l是指預訓練VGG-19網絡中的層數；

風格損失度量的是激活圖的協方差之間的差異，用于減輕由轉置卷積引起的圖像失真，風格損失函數的定義如下：

式中，表示由激活圖Φⁱ(·)構造的格拉姆矩陣；

圖像結構生成階段網絡的目標函數為：

其中，λ_per、λ_style表示為權重系數；

通過損失函數迭代地調整參數，完成訓練。