[發明專利]基于交叉學習網絡的圖像超分辨率的重建方法及裝置

在審

• 申請號: 202010550465.X
• 申請日: 2020-06-16
• 公開（公告）號: CN111667412A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 程德強;陳亮亮;趙凱;寇旗旗;高蕊;徐冬冬
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天達知識產權代理事務所(普通合伙) 11386
• 代理人: 龐許倩

1.一種基于交叉學習網絡的圖像超分辨率的重建方法，其特征在于，包括如下步驟：

構建交叉學習網絡模型，所述交叉學習網絡模型包括三支子殘差網絡、交叉共享層和圖像重建層；其中，所述子殘差網絡用于對輸入的低分辨率圖像進行特征提取，得到低分辨率圖像的第一通道特征圖；所述交叉共享層用于對所述第一通道特征圖進行交叉拼接得到第二通道特征圖；所述子殘差網絡還用于根據所述第二通道特征圖得到高分辨率圖像的特征圖；所述圖像重建層用于對所述三支子殘差網絡得到的高分辨率圖像的特征圖進行重建，得到高分辨率圖像；

對三支子殘差網絡和交叉學習網絡模型分別進行訓練，以得到所述交叉學習網絡模型的最優網絡模型結構并保存；

將待重建的低分辨率圖像輸入所述最優網絡模型結構，得到低分辨率圖像對應的高分辨率圖像。

2.根據權利要求1所述的圖像超分辨率的重建方法，其特征在于，每支所述子殘差網絡均包括預處理操作層、淺層特征提取層、殘差網絡層和特征融合層；

所述預處理操作層，用于對輸入的所述低分辨率圖像進行預處理；

所述淺層特征提取層，用于對預處理后的低分辨率圖像進行淺層特征提取，得到低分辨率圖像的特征圖；

所述殘差網絡層，用于對所述低分辨率圖像的特征圖進行卷積，得到低分辨率圖像的第一通道特征圖；以及，根據所述第二通道特征圖進行卷積得到第三通道特征圖；

所述特征融合層，用于對所述第三通道特征圖進行融合，以得到高分辨率圖像的特征圖。

3.根據權利要求2所述的圖像超分辨率的重建方法，其特征在于，所述淺層特征提取層為3*64*H*W的卷積層，其中，H為輸入低分辨率圖像的長度，W為輸入低分辨率圖像的寬度。

4.根據權利要求2所述的圖像超分辨率的重建方法，其特征在于，所述殘差網絡層包括四個特征擴展層，每個所述特征擴展層均包括殘差模塊和擴展殘差塊；

所述殘差模塊用于對低分辨率圖像的特征圖進行卷積，得到低分辨率圖像的第一通道特征圖；

所述擴展殘差塊用于對所述交叉共享層得到的第二通道特征圖進行卷積，得到第三通道特征圖。

5.根據權利要求4所述的圖像超分辨率的重建方法，其特征在于，所述殘差模塊包括三個級聯的殘差單元，三個所述殘差單元均為64*64*H*W的卷積層。

6.根據權利要求4所述的圖像超分辨率的重建方法，其特征在于，所述擴展殘差塊包括一個128*64*H*W的卷積層。

7.根據權利要求6所述的圖像超分辨率的重建方法，其特征在于，所述圖像重建層的重建公式為：

式中，SR為高分辨率圖像，SR₀、SR₁、SR₂分別為經過特征融合層得到的高分辨率圖像的3通道特征圖，w₀、w₁、w₂分別為融合系數矩陣。

8.一種基于交叉學習網絡的圖像超分辨率的重建裝置，其特征在于，包括：

殘差網絡模型構建模塊，用于構建交叉學習網絡模型，所述交叉學習網絡模型包括三支子殘差網絡、交叉共享層和圖像重建層；其中，所述子殘差網絡用于對輸入的低分辨率圖像進行特征提取，得到低分辨率圖像的第一通道特征圖；所述交叉共享層用于對所述第一通道特征圖進行交叉拼接得到第二通道特征圖；所述子殘差網絡還用于根據所述第二通道特征圖得到高分辨率圖像的特征圖；所述圖像重建層用于對所述三支子殘差網絡得到的高分辨率圖像的特征圖進行重建，得到高分辨率圖像；

模型訓練模塊，用于對三支子殘差網絡和交叉學習網絡模型分別進行訓練，以得到最優網絡模型結構并保存；

高分辨率圖像獲得模塊，用于將待重建的低分辨率圖像輸入所述最優網絡模型結構，以得到低分辨率圖像對應的高分辨率圖像。