[發明專利]基于自適應多模態遙感圖像融合語義標注方法及系統

有效

• 申請號: 202110270709.3
• 申請日: 2021-03-12
• 公開（公告）號: CN112949732B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 劉瑜;譚大寧;丁自然;姚力波;徐從安;孫順;姜喬文
• 申請（專利權）人: 中國人民解放軍海軍航空大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 韓雪梅

本發明涉及一種基于自適應多模態遙感圖像融合語義標注方法及系統，首先對多個模態的遙感圖像依次進行特征提取和拼接處理；其次基于拼接特征圖集合，對通道隨機失活處理，獲得隨機失活特征圖集合；再次基于第一卷積特征圖集合中各像素點進行全局語義標注；然后基于第二卷積特征圖集合對通道維度進行通道語義標注；最后將標注后的位置輸出特征圖集合和維度輸出特征圖集合進行加權融合以及卷積處理，獲得融合標注圖像。本發明對輸入的多模態通道進行隨機失活，以模擬在實際情況下的部分模態缺失情形，提高模型的泛化能力和魯棒性。另外，本發明將通道語義標注與全局語義標注相結合，提高了對圖像上下文信息融合標注的準確性。

技術領域

本發明涉及語義標注技術領域，特別是涉及一種基于自適應多模態遙感圖像融合語義標注方法及系統。

背景技術

目前高分辨率多模態遙感數據語義標注根據多模態融合時機的不同分為早期融合(如FuseNet)和后期融合(如SegNet-RC)。

早期融合使用多個編碼器對多源遙感信息進行聯合編碼，這幾個編碼器的輸出結果在每個卷積塊后相加。然后，一個解碼器將編碼后的聯合表示重新采樣回標簽概率空間。然而，在這種架構中，分支數據被視為二手數據，即這幾個分支并不是完全對稱的。此外，在上采樣過程中，只使用主分支的指標。因此，需要選擇哪個數據源是主要數據源，哪個數據源是輔助數據，這在處理這多源的方式上存在一種概念上的不平衡。

后期融合與早期融合結構類似，不同的是它使用多個編碼器對多源遙感信息分別進行編碼，然后分別解碼，并在解碼之后進行不同支路的融合。該方法改善了語義標注的精度，但要求多源遙感圖像屬于非異構圖像，模型應用存在一定的局限性，尤其源數據為光電與雷達圖像時。

目前多源遙感圖像融合的語義標注方法主要有以下缺點和不足：

1)、由于來自多源的遙感圖像往往具有異構性、冗余性和互補性，現有的模型基本沒有針對不同模態進行區分設計，融合策略上采用的是加權平均，算法難以達到最優。

2)、多源遙感圖像包括光電(如高光譜、多光譜、全色和紅外等)和SAR圖像，不同源的圖像很難保證在全天時、全天候下同時獲取(例如云雨天氣光電圖像獲取困難)。現有的方法并沒有考慮某些模態信息暫時缺失的問題，在模態信息不全情況下最終標注的效果不佳，這會降低模型的魯棒性。

3)、現有的早期融合和后期融合均是基于傳統全卷積神經網絡(FCN)的方法，卷積神經網絡固有的特性產生的局部特征可能導致錯誤分類，并忽略局部特征的上下文聯系。

發明內容

本發明的目的是提供一種基于自適應多模態遙感圖像融合語義標注方法及系統，以提高對圖像上下文信息融合標注的準確性。

為實現上述目的，本發明提供了一種基于自適應多模態遙感圖像融合語義標注方法，所述方法包括：

步驟S1：獲取多個模態的遙感圖像；

步驟S2：分別對多個模態的遙感圖像進行特征提取處理，獲得多個模態的輸出特征圖；

步驟S3：對多個模態的輸出特征圖進行拼接，獲得拼接特征圖集合；

步驟S4：基于拼接特征圖集合，對通道隨機失活處理，獲得隨機失活特征圖集合；

步驟S5：將隨機失活特征圖集合分別進行卷積處理，分別獲得第一卷積特征圖集合和第二卷積特征圖集合；

步驟S6：基于第一卷積特征圖集合中各像素點進行全局語義標注，獲得位置輸出特征圖集合；

步驟S7：基于第二卷積特征圖集合對通道維度進行通道語義標注，獲得通道輸出特征圖集合

步驟S8：將位置輸出特征圖集合和維度輸出特征圖集合進行加權融合，獲得初始融合標注圖像；