[發明專利]基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法

在審

• 申請號: 202310606244.3
• 申請日: 2023-05-26
• 公開（公告）號: CN116630757A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 王雷全;魏昂
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/0499;G06N3/08;G01S17/86;G01N21/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于通道特征增強與空間特征引導的高光譜與激光雷達數據融合分類方法。以往的方法主要采用先提取后融合的思想進行融合，但這些方法過多地關注網絡深層特征而忽略了初級特征。此外，很多方法中相同或類似的特征提取網絡無法緩解不同模態間異構性帶來的影響且采用的融合方式單一低效。本發明針對上述問題設計了一個包含通道特征增強模塊與空間特征引導模塊的融合分類網絡。從兩個模態中提取出空間特征并引導激光雷達空間?通道特征，使其含有全局融合信息，利用輕量級交叉注意力融合高光譜特征與增強后的激光雷達特征。本發明在Houston2013和Trento數據集上進行了大量實驗，證明了提出模型的有效性。

技術領域

本發明屬于多模態遙感圖像融合分類的方法，涉及計算機視覺技術領域。

背景技術

高光譜圖像包括物體的二維空間信息和豐富的光譜信息，借助這些信息高光譜圖像在土地覆蓋分類任務、精準農業、生物醫學成像、視頻安全和軍事領域展現出了廣闊的應用前景。在這些任務中，土地覆蓋信息分類受到了廣泛關注。然而在一些復雜的地物條件下，僅使用單模態數據難以實現精確的分類。

隨著遙感成像技術的進步，描述同一區域的多模態遙感數據出現的越來越多。高光譜數據旨在利用傳感器接收從地面反射的電磁波來表征地面材料的特性。激光雷達使用脈沖激光聚焦地面目標的距離信息，數字表面模型DSM(digital?surface?model,DSM)是對LiDAR點云數據進行預處理后得到的圖像版本，已成功應用于復雜場景中獲取物體的高程信息。許多研究表明，綜合利用高光譜和激光雷達數據可以發揮兩者的優勢，實現數據之間的屬性互補。

現有模型的常見做法是將兩種數據分別進行特征提取，利用相加或級聯操作將兩個特征圖融合到一起，并利用全局平均池化和線性層得到最終的分類結果。在早期的研究中，研究人員往往借助機器學習方法得到分類結果。Zhang等使用非負矩陣分解對兩個數據源進行特征提取和選擇，并將得到的特征矩陣進行融合。然后，使用支持向量機對融合后的特征矩陣進行分類，得到每個像素點的分類結果。Liu等使用多層感知器這種傳統機器學習方法對高光譜和激光雷達數據進行融合分類，首先對兩個數據源進行特征提取和選擇，然后將得到的特征向量進行拼接，之后使用多層感知器對拼接后的特征向量進行分類。Li等使用特征選擇和支持向量機這兩種傳統機器學習方法對高光譜和激光雷達數據進行融合分類。

雖然傳統機器學習方法已經比較成熟，但高光譜圖像包含的豐富信息以及多模態數據之間的異構性使得傳統機器學習方法受到了很大的限制。隨著深度學習的進步，CNN等網絡被引入遙感圖像融合分類任務中來，之后也出現了越來越多的深度學習模型，研究人員開始探索更強大的特征提取方法和更有效的融合方法。

Y.Peng等設計了一個類似于三維ResNet的深度CNN來提取融合特征的光譜空間信息,將多數表決引入到使用每個融合特征訓練的網絡的分類結果中，以獲得高置信度的最終結果。M.Zhan等為了利用多尺度信息來改進特征表示，提出了一種用于高光譜和激光雷達數據聯合分類的多尺度特征融合網絡。Y.Hu等提出了一種簡單而有效的并聯Transformer分類模型，取得了較高的分類準確率。Hong等設計了一種同時使用特征級和決策級融合的分類網絡，利用三層卷積提取特征，并對后兩個卷積層共享參數，引導卷積層之間的相互學習。最終融合特征由高光譜特征，融合特征以及激光雷達特征三部分相加而成，每一部分都包含一個可學習權重。實驗結果表明，同時使用特征級和決策級融合策略可以提高分類精度。

盡管目前已經出現了相當多的融合分類模型，但多數模型仍然存在一些問題。相同或類似的特征提取網絡不能適應多模態數據之間存在的數據冗余性和異構性。很多方法通常關注網絡的深度特征，而忽視了初級特征。傳統的相加或級聯的融合方法會引入冗余信息，不能促進不同模態數據之間的交互，限制了整體分類性能。

發明內容