[發明專利]基于雙向特征融合的光學遙感圖像地物分類方法及系統

在審

• 申請號: 202110358349.2
• 申請日: 2021-04-01
• 公開（公告）號: CN112926533A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 王裕沛;樊嘉禾;師皓;陳亮
• 申請（專利權）人: 北京理工大學重慶創新中心;北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

本發明公開了基于雙向特征融合的光學遙感圖像地物分類方法及系統，涉及光學遙感圖像成像技術領域，能夠結合不同層的特征進行多尺度的特征融合，得到較好的特征融合結果。構建地物分類網絡，用于執行如下步驟：對于輸入圖像，提取五個不同尺度的特征圖，先分組融合然后交叉融合，生成最終融合結果。對所構建的地物分類網絡進行訓練，訓練完成后的地物分類網絡用于執行光學遙感圖像的地物分類任務。本發明在融合時結合了淺層的細節信息和深層的語義信息，能夠結合不同層的特征進行多尺度的特征融合，得到較好的特征融合結果。其中還采用了與特征圖內容相關的上采樣方式，能夠更有效聚合不同層次的特征圖。

技術領域

本發明涉及光學遙感圖像成像技術領域，具體涉及一種基于雙向特征融合的光學遙感圖像地物分類方法及系統。

背景技術

光學遙感圖像成像技術不斷發展，圖像的分辨率不斷提高。光學遙感圖像地物分類的應用場景不斷增加，其在民用國防等領域起著越來越重的作用。光學遙感圖像的地物分割是遙感圖像信息提取的重要環節。影像分割是面向對象的影像分析方法的關鍵步驟，其分割結果質量直接影響著后續影像信息的提取質量。準確及時地從得到的遙感影像中獲取地物信息有著實際需求。

以深度學習技術的興起為界，可以將遙感圖像的地物分類劃分為兩個階段，即基于傳統方法的地物分類和基于深度學習技術的地物分類。傳統的遙感圖像地物分類方法主要包括：遙感圖像的特征提取、遙感圖像的特征選擇和分類算法三大部分。近年來光學遙感圖像的分辨率不斷提高，對光學遙感圖像的分割精細度有了更高的要求。

通?；诰矸e神經網絡的地物分割方法，利用級聯的卷積和池化操作獲得高級的分類語義信息，為彌補分辨率降低帶來的空間信息損失，需結合不同層次的特征圖來細化分割結果。之前采用的自下而上的特征融合與上采樣方式，信息流僅僅在單個方向上流動，淺層特征圖的細節信息與深層特征圖的語義信息無法很好的融合進而影響最終的分割結果。

因此如何結合不同層的特征，進行多尺度的特征融合，從而得到較好的特征融合結果，從而為提高圖像分割精度提供基礎，是目前亟待解決的問題。

發明內容

有鑒于此，本發明提供了一種基于雙向特征融合的光學遙感圖像地物分類方法及系統，能夠結合不同層的特征進行多尺度的特征融合，得到較好的特征融合結果。

為達到上述目的，本發明的技術方案基于雙向特征融合的光學遙感圖像地物分類方法，構建地物分類網絡，用于執行如下步驟：

對于輸入圖像，提取五個不同尺度的特征圖，按照尺度大到小進行排序分別為第一～第五特征圖m11、m12、m13、m14、m15。

將相鄰的3個不同尺度的特征圖作為一組融合組，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每個融合組中以中等尺度特征圖的尺寸為基準，融合組中尺度大于基準的特征圖進行下采樣操作，融合組中尺度小于基準的特征圖進行上采樣操作，從而將同一融合組中的3個不同尺度的特征圖轉換為同一尺度，之后進行特征融合處理，得到三個融合后的特征圖m21、m22和m23；

將三個融合后的特征圖m21、m22和m23，再次融合得到融合特征圖m31，其尺寸為輸入圖像的1/8，對于m31進行上采樣操作后與m21進行拼接和卷積操作，生成尺寸大小為輸入圖像1/4的m41，對于融合后的特征圖m21和第一特征圖m11融合生成融合特征圖m42，最后將m41上采樣后與m42進行融合并上采樣，生成最終融合結果。

對所構建的地物分類網絡進行訓練，訓練完成后的地物分類網絡用于執行光學遙感圖像的地物分類任務。

進一步地，上采樣操作具體包括如下步驟：

上采樣操作的輸入特征圖大小為H×W×C，H為輸入特征圖的高度，W為輸入特征圖的寬度，C為輸入特征圖的特征通道數。