[發明專利]一種基于特征交互的深度學習圖像修復方法

在審

• 申請號: 202110600419.0
• 申請日: 2021-05-31
• 公開（公告）號: CN113362239A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 俞文心;李思源;聶梁;陳世宇;高宇飛;劉明金;龔俊
• 申請（專利權）人: 西南科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 成都帝鵬知識產權代理事務所(普通合伙) 51265
• 代理人: 黎照西

本發明公開一種基于特征交互的深度學習圖像修復方法，構建特征交互式的卷積神經網絡模型作為交互式圖像修復模型；所述交互式圖像修復模型包括高分辨率分支和低分辨率分支，所述高分辨率分支和低分辨率分支在網絡的正向過程中相互交互信息但又有獨立工作，所述高分辨率分支維護處理具有固定分辨率的一系列特征，所述低分辨率分支處理圖像的高級信息并且隨著傳播的進行而將特征尺度按比例縮小；將待修復圖像輸入所述交互式圖像修復模型，輸出修復圖像。本發明保持了模型對圖像的紋理模式和語義上下文之間的理解平衡，能夠在不丟失圖像細節紋理信息同時能夠有效地捕獲圖像語義，提升修復圖像的質量。

技術領域

本發明屬于圖像修復技術領域，特別是涉及一種基于特征交互的深度學習圖像修復方法。

背景技術

圖像修復(Image Inpainting)是填充不完整圖像的缺失區域以使修復完畢的圖像在視覺上看起來合理的圖像處理過程。在學術領域，前景去除，背景建模，視頻分析，去遮擋，傳輸錯誤隱藏，對象和文字移除，多視圖合成，人臉重建等方向的學術研究都會涉及到圖像修復。在實際生活應用方面，它在圖像視頻編輯、電影后期制作、多視點視頻編碼及數字文化遺產保護等領域都具備廣泛的社會應用價值。

現有的大部分基于深度學習的技術采用了U-net風格網絡結構作為方法中的生成器，直接U-net樣式的網絡結構應用到圖像修復將會存在很多問題。如U-net樣式的網絡結構的間隔下采樣會讓網絡直接丟失一些像素級的紋理信息，U-net樣式的網絡結構的深層特征的感受野范圍不足，U-net樣式的網絡結構的深層特征的感受野范圍還有待進一步提高。盡管U-net風格網絡中的池化層或跨步卷積能夠將特征壓縮為緊湊的表示形式，但由于間隔下采樣，這樣的網絡不可避免地會丟棄空間維度上的許多高分辨率信號。這些問題都會導致模型的修復性能下降。造成現有模型修復圖像過程中，使用模型修復完成的圖像紋理模糊、視覺效果不清晰，在模型的推導過程中出現信息丟失的情況，修復圖像的語義信息和紋理細節信息與真實圖像不匹配。

發明內容

為了解決上述問題，本發明提出了一種基于特征交互的深度學習圖像修復方法，彌補U-net風格網絡結構在圖像修復領域上的缺陷，保持了模型對圖像的紋理模式和語義上下文之間的理解平衡，能夠在不丟失圖像細節紋理信息同時能夠有效地捕獲圖像語義，提升修復圖像的質量。

為達到上述目的，本發明采用的技術方案是：一種基于特征交互的深度學習圖像修復方法，步驟包括：

構建特征交互式的卷積神經網絡模型作為交互式圖像修復模型；所述交互式圖像修復模型包括高分辨率分支和低分辨率分支，所述高分辨率分支和低分辨率分支在網絡的正向過程中相互交互信息但又有獨立工作，所述高分辨率分支維護處理具有固定分辨率的一系列特征，所述低分辨率分支處理圖像的高級信息并且隨著傳播的進行而將特征尺度按比例縮小；

將待修復圖像輸入所述交互式圖像修復模型，輸出修復圖像。

進一步的是，在交互式圖像修復模型的正向過程包括依次連接的初始階段、中間多級處理階段和最終融合階段，待修復圖像依次經過初始階段、中間處理階段和最終融合階段后輸出修復圖像，通過初始階段將待修復圖像拆分成兩種特征并分向高分辨率分支和低分辨率分支，通過中間多級處理階段對高分辨率分支和低分辨率分支進行處理，通過最終融合階段對高分辨率分支和低分辨率分支進行融合后后輸出修復圖像。

進一步的是，所述中間多級處理階段包括第二階段、第三階段和第四階段進行修復獲得最終的修復圖像；所述第二階段、第三階段和第四階段均包含了修復、交互和聚合操作；

在所述初始階段將輸入待修復圖像通過修復、拆分和聚合操作將圖像特征處理為兩種特征，一種特征的分辨率和輸入待修復圖像保持一致，另一種特征的分辨率將變換為待修復圖像分辨率的1/2；

第二階段將初始階段得到的兩種特征，通過通過修復、拆分和聚合操作得到新的兩種特征，而這兩種新的特征的分辨率分辨為原始分辨率和原始分辨率的1/4；