[發明專利]基于通道約束多特征融合的圖像超分辨率重建方法和系統

在審

• 申請號: 202111165041.2
• 申請日: 2021-09-30
• 公開（公告）號: CN113744136A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 霍彤彤;楊衛東;謝毅;何泳江;王泓霖;鐘勝;肖子雨
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍

1.一種基于通道約束多特征融合的圖像超分辨率重建方法，其特征在于，該方法包括：

訓練階段：

獲取同一場景下的高空間分辨率的高光譜圖像、低空間分辨率高光譜圖像和高空間分辨率多光譜圖像，并將圖像對作為訓練樣本，對應高空間分辨率高光譜圖像作為標簽，構建訓練集；

搭建雙通道超分辨率網絡，所述雙通道超分辨率網絡包括：特征提取模塊，用于從同一場景下的低空間分辨率高光譜圖像和高空間分辨率多光譜圖像中同時提取空間特征與光譜特征；特征融合模塊，用于融合同一場景下的多光譜圖像與高光譜圖像的空譜特征；圖像重建模塊，用于將融合后的特征重建，得到重建高空間分辨率高光譜圖像；

采用訓練集訓練雙通道超分辨率網絡，直至重建高空間分辨率高光譜圖像與原始高空間分辨率高光譜圖像的對應光譜向量中各元素變化規律保持一致，得到訓練好的雙通道超分辨率網絡；

應用階段：

獲取待重建場景下的低空間分辨率高光譜圖像和高空間分辨率多光譜圖像，輸入至訓練好的雙通道超分辨率網絡進行超分辨率重建，得到重建高空間分辨率高光譜圖像。

2.如權利要求1所述的方法，其特征在于，高空間分辨率高光譜圖像對應的低空間分辨率高光譜圖像通過以下方式獲得：對原始高空間分辨率高光譜圖像雙立方插值的方式降采樣，并添加標準差為0.5的高斯模糊；

高空間分辨率高光譜圖像對應的高空間分辨率多光譜圖像通過以下方式獲得：結合光譜響應曲線對原始高空間分辨率高光譜圖像進行光譜下采樣。

3.如權利要求1所述的方法，其特征在于，所述特征提取模塊包括并聯的第一分支和第二分支；

第一分支用于提取高空間分辨率多光譜圖像信息，其包括串聯的第一三維卷積層、第一三維殘差特征聚合模塊和第二三維卷積層，其中，第一三維卷積層用于提取多光譜圖像淺層空譜特征，第一三維殘差特征聚合模塊用于進一步提取其空間維特征與光譜維特征，為所得的特征圖中的每個特征通道分配相應權重，第二三維卷積層用于提取高級特征，并輸出至特征融合模塊；

第二分支用于提取低空間分辨率高光譜圖像信息，其包括串聯的第一三維反卷積層、第三三維卷積層、第二三維殘差特征聚合模塊和第四三維卷積層，其中，第一三維反卷積層用于調節高光譜圖像尺寸至與多光譜相同，第三三維卷積層用于提取高光譜圖像淺層，第二三維殘差特征聚合模塊用于提取其空間維特征與光譜維特征，為所得的特征圖中的每個特征通道分配相應權重，第四三維卷積層用于提取高級特征，并輸出至特征融合模塊。

4.如權利要求1所述的方法，其特征在于，所述特征融合模塊包括串聯的三維殘差模塊及三維卷積層，其中，三維殘差模塊用于融合特征提取網絡輸出的特征，且融合采用跳躍連接的方式；三維卷積層用于融合每個殘差模塊輸出的特征圖與所有殘差特征的特征圖，N個特征圖通過級聯的形式連接在一起，形成特征圖組M共同傳輸至圖像重建模塊。

5.如權利要求1所述的方法，其特征在于，所述圖像重建模塊包括串聯的特征層加權約束模塊、第一三維卷積層、殘差特征聚合模塊、第二三維卷積層和第三三維卷積層；

其中，所述特征層加權約束模塊用于對特征融合模塊輸出的特征圖組中不同圖像、不同層次的特征圖進行加權約束；第一三維卷積層模塊用于對加權約束后的特征圖進一步提取特征；殘差特征聚合模塊用于提取融合后的空譜特征，分配相應權重；第二三維卷積層和第三三維卷積層用于非線性映射，生成最終的高光譜圖像。

6.如權利要求5所述的方法，其特征在于，所述殘差特征聚合模塊由四個三維殘差模塊組成，前三個位置靠前的按常規方式堆疊在一起，最后一個去掉了恒等映射部分，僅保留3D-CRB部分；將四個3D-CRB輸出的特征圖通過級聯的方式進行加權融合。