[發明專利]基于部分到整體注意力機制的多層次圖像修復方法

有效

• 申請號: 201911246343.5
• 申請日: 2019-12-08
• 公開（公告）號: CN111127346B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 顏波;陳鶴丹
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于數字圖像智能處理技術領域，具體為一種基于部分到整體注意力機制的多層次圖像修復方法。圖像修復是指利用算法來替換和生成丟失或缺損的圖像數據。本發明方法包括：一種多層次的深度卷積神經網絡生成器結構；一個部分到整體的注意力機制卷積層，分別集成到網絡的生成器和判別器中。在網絡的訓練過程中引入了圖像塊判別器和重構損失、感知損失、風格損失、對抗損失四種損失函數來輔助生成器學習圖像修復任務。實驗結果表明，本發明可以生成細節逼真且整體結構合理的修復圖像，有效解決圖像修復問題。

技術領域

本發明屬于數字圖像智能處理技術領域，涉及一種圖像修復方法，更具體的說，涉及一種基于部分到整體注意力機制的多層次圖像修復方法。

背景技術

隨著人們用來存儲信息的介質的改變，圖像修復這一任務的定義也在相應地發生變化，從文藝復興時期對受損的壁畫的修復，到早些年對老化的紙質照片的修復，再到目前對計算機上儲存的數字圖片的處理。需要強調的是，圖像修復的應用已經不僅僅局限于“修復”這一功能，除此以外，現在的修復技術還可以應用在物體去除、去水印、去遮擋、人臉祛痘、磨皮等場景。

早期的圖像修復技術從其針對的待修復區域大小出發，主要分為兩類：基于信息擴散的方法和基于圖像塊匹配的方法。基于信息擴散的方法采用迭代補全的思路，每一步迭代將圖像的信息沿著等照度線方向向缺失區域內傳播，從而將信息從缺失區域的邊界逐步擴散到缺失區域內。這種方法只適用于處理細小的缺失區域，例如斑點、劃痕等。基于圖像塊匹配的方法可以處理圖像中規模較大的缺失區域，其核心思想是通過圖像特征來進行圖像塊的配對和替換。然而，這種方法假設缺失區域的內容可以在背景區域內找到，但這并不總是成立的。除此以外，上述所有早期的傳統修復技術都無法理解圖像的結構等高層次語義信息，且無法生成新的、獨特的圖像內容。

近年來，卷積神經網絡(CNN)的發展為計算機視覺領域帶來了新的突破，由此也產生了一系列基于深度學習技術的圖像修復算法。這些算法克服了傳統算法的不足，可以生成視覺上較為真實且整體結構一致的修復結果。特別地，由于圖像修復是一種生成任務，所以可以很好地運用生成對抗網絡(GenerativeAdversarialNetworks，GANs)^[1]。GAN是一種特殊的深度卷積神經網絡，它包括一個生成器用于生成圖像、一個可學習的判別器用于判斷生成的圖像是否是真實的。

對目前已有的網絡來說，其生成器多采用類似U-Net^[2]的網絡結構，這種結構最早被用在醫療圖像分割中，且取得了較好的效果。其中，跳躍連接是U-Net的關鍵部件，可以整合不同層次的圖像信息。然而，Yu等人指出^[3]，將跳躍連接用于中心大規模缺失區域的修復無法得到理想的效果，原因是中心缺失區域在跳躍連接中無法傳遞有價值的紋理、顏色等信息。

此外，注意力機制的應用也使得圖像修復網絡可以對圖像中的長距離相關性進行建模。Yu等人提出了一種上下文注意力模塊(Contextual?Attention，簡稱CA)^[4]，可以較好地利用背景區域中的已有信息進行修復。然而，這種方法過度關注對已有信息的利用，忽略了缺失區域內部的語義連續性，因此可能產生視覺上不合理的修復結果。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種產生真實、自然的修復結果的基于部分到整體注意力機制的多層次圖像修復方法。

本發明提供的基于部分到整體注意力機制的多層次圖像修復方法，主要針對圖像中心正方形缺失場景進行修復，其中缺失區域占整體圖像大小的25％左右；本發明首先構建一個多層次的深度卷積神經網絡生成器，然后將所提出的部分到整體注意力層分別集成到生成器和判別器中，同時引入重構損失、感知損失、風格損失、對抗損失四種損失函數來約束網絡的訓練；最后利用訓練的多層次的深度卷積神經網絡生成器，得到修復的圖像。本發明提出的修復方法可以產生真實、自然的修復結果。

本發明提供的基于部分到整體注意力機制的多層次圖像修復方法，具體步驟包括：