[發明專利]一種關注前景信息的圖像超分辨率重建方法

有效

• 申請號: 202210035833.6
• 申請日: 2022-01-13
• 公開（公告）號: CN114049261B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 何凡;彭麗薇;鄧靖凜;吳家俊;程艷芬;李辰皓
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 劉琳

1.一種關注前景信息的圖像超分辨率重建方法，所述方法包括以下步驟：

1）獲取待訓練圖像，對圖像數據預處理，得到特征圖X?R^C×H×W， R^C×H×W表示圖像的參數，R表示實數集，C表示通道數，H、W表示圖像大?。痪唧w步驟包括：

1.1）選取訓練樣本圖像作為訓練樣本圖像集；

1.2）從所述訓練樣本圖像集中隨機選取n張原圖像進行裁切、鏡像反轉操作，對每張原圖像隨機分割出m×m的圖像，記為I^SR(x),x=1,2,……n；然后隨機選取其中q個子圖像作為訓練圖像；

1.3）將所述訓練圖像I^SR(x)輸入到PAMNet網絡的下采樣層，通過兩次串行的L×L卷積核對所述待訓練圖像分別進行卷積操作，初步提取圖像色彩、輪廓和紋理特征，并增加特征圖通道數，得到n張待訓練的圖像；

每次L×L卷積層由三層卷積層構成：先通過L×L的卷積層，再通過一個L×L的BN層和一個L×L的Relu層；通過第1次卷積得到m×m的特征圖D；通過第2次卷積得到m×m的特征圖X；

1.4）所述PAMNet網絡的下采樣層最終輸出m×m的圖像特征圖 X?R^C×H×W，其中，R^C×H×W表示圖像的參數，R表示實數集，C表示通道數，H、W表示圖像大小，且H=W=m；

2）對所述特征圖X?R^C×H×W進行特征提取，得到特征輸出圖S_LF?R^C×H×W；

3）基于所述特征輸出圖S_LF?R^C×H×W的圖像特征進行圖像重建；

4）采用損失函數對所示重建圖像進行訓練，得到超分辨率圖像SR；

其特征在于：所述步驟2）的具體步驟包括：

2.1）將特征圖X輸入PAMNet網絡的特征提取層，通過N個串行的PAM模塊基礎單元，圖像的殘差淺層特征經過多次計算和傳遞，使用跳躍連接將所有前置的N-2個PAM模塊的淺層特征輸入到第N-1個PAM模塊的末端并在通道維度進行拼接操作，得到圖像殘差淺層特征圖S?R^10C×H×W；

具體步驟包括：

2.1.1）當特征圖X輸入到t時刻的tPAM模塊中，對于第1個PAM模塊，將X?R^C×H×W輸入到殘差模塊Residual做卷積操作得到輸出特征圖X_R?R^C×H×W；

2.1.2）將輸出特征圖X_R?R^C×H×W同時輸入通道域注意力模塊Channel Attention和空間域注意力模塊Spatial Attention并行計算通道域注意力Y_C和空間域注意力Y_S；

2.1.3）將所述通道域注意力Y_C和空間域注意力Y_S在通道維度進行拼接操作，得到門控網絡Gate的輸入值G_IN?R^2C×H×W；

2.1.4）將所述門控網絡Gate的輸入值G_IN?R^2C×H×W使用1×1卷積進行信息融合，將G_IN的維度降為（C,H,W）；經過兩次3×3卷積進行特征提取和Sigmoid激活得到取值范圍為（0,1）的激活輸出σ?R^C×H×W；

2.1.5）將所述激活輸出σ作為線性組合系數分配乘至Y_C和Y_S得到輸出G_OUT?R^C×H×W；

2.1.6）在反向傳播過程中不斷更新所述激活輸出σ，通過學習的方式動態分配通道域注意力和空間域注意力的權重，專注在權重較高的注意力域提取圖像前景信息；

2.1.7）將所述門控網絡的輸出G_OUT?R^C×H×W與當前時刻的tPAM模塊起始輸入X_IN?R^C×H×W加和得到X_OUT?R^C×H×W；

2.1.8）重復N-2次所述步驟2.1.1）~2.1.7）的操作；

2.1.9）采用跳躍連接將所有前置的N-2個PAM模塊的淺層特征輸入到特征提取層的第N-1個PAM模塊的末端，在通道維度進行拼接，得到維度為(10C,H,W)的通道維度拼接的圖像殘差淺層特征圖S?R^10C×H×W，其中H=W=m；2.2）將所述圖像殘差淺層特征圖S?R^10C×H×W，采用1×1的卷積降維并聚合淺層特征，得到維度為(C,H,W)的特征圖S_L?R^C×H×W；

2.3）將所述特征圖S_L?R^C×H×W通過第N個PAM模塊，得到提取的特征輸出圖S_LF?R^C×H×W。