[發明專利]基于殘差注意力塊的運動模糊圖像復原方法

在審

• 申請號: 202210011777.2
• 申請日: 2022-01-06
• 公開（公告）號: CN114331913A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 鄭茜穎;魏海云;俞金鈴;程樹英;林培杰;鄭巧
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T9/00;G06N3/08;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：采用包括由粗到細三個尺度的網絡，其基本結構由殘差注意力塊組成，再連接上循環模塊，用以獲取圖像的空間信息，每個尺度的循環模塊通過上采樣方式連接，最后通過解碼端上采樣得到輸出的結果，且每個尺度的網絡結構相同；具體包括以下步驟

步驟S1：對輸入的模糊圖像進行預處理，以防止網絡訓練過程發生過擬合；

步驟S2：將步驟S1獲得的低分辨率圖像作為尺度一網絡的輸入，編碼端通過下采樣操作從運動模糊圖像中提取主要特征；

步驟S3：將步驟S2通過編碼端的輸出，再經過一個卷積門控循環模塊ConvGRU，通過該模塊對編碼部分提取的特征圖進行處理，獲取圖像空間信息，把有用的隱藏歷史信息給提取出來；

步驟S4：將步驟S3輸出的圖像進行上采樣，作為下一尺度網絡的輸入，解碼端的輸出作為尺度三網絡的輸入；

步驟S5：將步驟S4的輸出再輸入到最后一個尺度的網絡中，經過編碼端進行特征提取，將步驟S3中的循環模塊進行兩次上采樣，把編碼端的輸出再通過上采樣后的循環模塊進行圖像空間信息提取，然后再經過解碼端，最終得到復原的清晰圖像；

步驟S6：通過混合損失函數對所述運動模糊圖像的復原算法進行優化。

2.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S1中，對輸入的模糊圖像先進行隨機裁剪，大小為256×256，并且對這些圖像進行隨機旋轉。

3.根據權利要求2所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S1中，原始運動模糊圖像通過隨機剪切操作，將圖像裁剪為大小為256×256，使用隨機90°、180°或270°翻轉操作，對輸入圖像進行處理，來增加所能訓練的圖像數量，防止網絡訓練過程中出現過擬合現象。

4.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S2中，編碼端和解碼端均由殘差注意力基本模塊組成：該模塊包含一個卷積層，使用3×3的卷積核提取圖像特征，以及級聯排列的通道注意力和空間注意力模塊；所述編碼端特征提取后還包括SPP層。

5.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S3中，所述卷積門控循環模塊ConvGRU包含由粗到細的三個不同尺度的網絡，相鄰的兩個尺度差2倍，以尺度一編碼端輸出x^t作為循環模塊的輸入，y^t表示輸出，該模塊的網絡狀態表示為：

y^t,h^t＝convGRU(h^(t-1)↑,x^t)

其中，t表示尺度規模，t＝1代表最粗的尺度，表示從第t到第(t+1)級網絡的比例調整，隱藏狀態h^t可能包含有關中間結果和模糊模式的有用信息，這些信息被傳遞到下一個尺度。

6.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S4中，所述解碼端將得到的輸出再進行上采樣作為下一級網絡的輸入，包含三個由3個3×3的卷積層和一個反卷積層級聯的模塊，卷積層的步幅為2，所有卷積層的內核數都為5，反卷積層用于將特征圖的空間大小加倍，并將通道減半。

7.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S5中，編碼端將上一層的內核數量加倍，并將特征圖下采樣到一半；多尺度網絡包含了三個相同結構的編解碼網絡，通過循環結構合并循環模塊，其中隱藏狀態捕獲有用的信息并有益于跨規?；謴停浑[藏狀態可能包含有關中間結果和模糊模式的有用信息，這些信息被傳遞到下一個尺度并有利于精細尺度問題。

8.根據權利要求1所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S6中，混合損失函數為：由L2損失和感知損失共同組成的損失函數。

9.根據權利要求8所述的基于殘差注意力塊的運動模糊圖像復原方法，其特征在于：在步驟S6中，所述混合損失函數當中：

L2損失的表達式為：

式中，yⁱ和分別表示第i個尺度上網絡輸出的結果和真實結果；

感知損失的表達式為：

其中φ_i(yⁱ),分別表示與每一尺度輸出的去模糊圖像yⁱ和實際圖像相關聯的三個VGG16特征圖，C_i,H_i,W_i分別表示特征圖尺寸；

總的損失函數是結合了L2損失和感知損失得到的，表示為：

L＝L_S+αL_P

其中α是為了調整損失函數相對權重的參數，設置為0.05。