[發明專利]一種基于金字塔融合注意力網絡的圖像超分辨率方法

在審

• 申請號: 202210639755.0
• 申請日: 2022-06-08
• 公開（公告）號: CN114926343A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 唐杰;何昊;鄭秀;武港山
• 申請（專利權）人: 南京大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

1.一種基于金字塔融合注意力網絡的單張圖像超分辨率方法，其特征是構建一個圖像超分網絡PFAN從給定的低分辨圖像中恢復高分辨圖像，圖像超分網絡由依次設置的淺層特征提取模塊、堆疊的特征提取基本組BG、上采樣模塊和重建模塊四個部分組成，包括以下流程：

1)淺層特征提取模塊使用一層卷積對低分辨率圖像I_LR提取淺層特征F₀：

F₀＝H₀(I_LR)

其中H₀(·)表示卷積函數；

2)使用堆疊的特征提取基本組BG進行深層次特征提取：

F_D＝H_BG,D(F_D-1)＝H_BG,D(H_BG,(D-1)(…H_BG,1(F₀)…))

其中H_BG,D(·)表示第D個BG模塊，F_D-1表示第(D-1)個BG模塊的輸出；

3)使用亞像素卷積作為上采樣模塊提升分辨率，并同時融合深層特征F_D和淺層特征F₀：

F_↑＝H_↑(F_D+F₀)

其中H_↑(·)表示上采樣模塊，F_↑表示上采樣后的特征；

4)使用一層卷積對上采樣的結果F_↑進行特征重建：

I_SR＝H_R(F_↑)

最終金字塔融合注意力網絡的輸出結果I_SR即為重建的高分辨率圖像；

其中特征提取基本組BG由n個金字塔融合注意力模塊PFAB和一個漸進式后向融合模塊PBFM組成，金字塔融合注意力模塊PFAB由一個基礎殘差塊Plain RB和一個金字塔融合注意力網絡PFA組成，PFA采用金字塔結構，基礎殘差塊Plain RB的輸出在輸入PFA后先經過卷積及池化，之后使用堆疊的標準殘差塊RB來建模像素之間的關系，金字塔中間層接收來自對應的上下層RB的輸出作為輸入，金字塔各個層的輸出被上采樣到相同尺寸后級聯起來，并送入一層卷積層和一層sigmoid層，從而獲得注意力掩碼，將注意力掩碼與當前PFAB模塊的特征圖進行像素級乘積操作后，即獲得當前PFAB的輸出；n個PFAB依次串聯，同時對于兩個相鄰PFAB的輸出在通道域上使用漸進式后向融合模塊PBFM進行級聯操作，每次級聯操作后的特征送入一個基于對比度的通道注意力CCA模塊以進一步增強關鍵信息，使用一個1×1的卷積層對CCA模塊增強后的特征的通道域的特征進行融合，其中PFAB_n的輸出結果B_n與PFAB_n-1的輸出結果B_n-1直接級聯，然后經過CCA模塊和1×1卷積得到對應PFAB_n-1的融合輸出B′_n-1，對于PFAB_i，i＝1,…,n-1，相鄰PFAB_i的級聯為B_i與B′_i+1級聯，表示為：

B′_i＝H_F(concat(B_i+B′_i+1))

B′₁為最終漸進式后向融合模塊PBFM的輸出，記第j個BG模塊的輸出特征為F_j，則F_j由B′₁與F_j-1進行像素級加和得到。

2.根據權利要求1所述的一種基于金字塔融合注意力網絡的單張圖像超分辨率方法，其特征是使用訓練數據訓練所述圖像超分網絡，訓練時使用MAE函數計算輸出圖像與高分辨率真實圖像之間的誤差，并以此計算圖像超分網絡各個參數的梯度，并進行參數更新，網絡使用Adam優化器進行訓練。

3.根據權利要求2所述的一種基于金字塔融合注意力網絡的單張圖像超分辨率方法，其特征是對訓練數據先進行數據增廣，通過隨機水平翻轉、隨機旋轉90°、180°或270°的策略對訓練數據進行數據增強，在訓練過程中每個min-batch使用16個大小為48×48的低分辨率RGB圖像塊作為輸入。