[發明專利]基于自適應多模態遙感圖像融合語義標注方法及系統

有效

• 申請號: 202110270709.3
• 申請日: 2021-03-12
• 公開（公告）號: CN112949732B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 劉瑜;譚大寧;丁自然;姚力波;徐從安;孫順;姜喬文
• 申請（專利權）人: 中國人民解放軍海軍航空大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 韓雪梅

1.一種基于自適應多模態遙感圖像融合語義標注方法，其特征在于，所述方法包括：

步驟S1：獲取多個模態的遙感圖像；

步驟S2：分別對多個模態的遙感圖像進行特征提取處理，獲得多個模態的輸出特征圖；

步驟S3：對多個模態的輸出特征圖進行拼接，獲得拼接特征圖集合；

步驟S4：基于拼接特征圖集合，對通道隨機失活處理，獲得隨機失活特征圖集合；

步驟S5：將隨機失活特征圖集合分別進行卷積處理，分別獲得第一卷積特征圖集合和第二卷積特征圖集合；

步驟S6：基于第一卷積特征圖集合中各像素點進行全局語義標注，獲得位置輸出特征圖集合；

步驟S7：基于第二卷積特征圖集合對通道維度進行通道語義標注，獲得通道輸出特征圖集合；

步驟S8：將位置輸出特征圖集合和維度輸出特征圖集合進行加權融合，獲得初始融合標注圖像；

步驟S9：將初始融合標注圖像進行卷積處理，獲得融合標注圖像。

2.根據權利要求1所述的基于自適應多模態遙感圖像融合語義標注方法，其特征在于，所述步驟S4，具體包括：

步驟S41：基于拼接特征圖集合中的像素值對各通道進行評級，獲得各通道對應的評級分數；

步驟S42：根據各通道對應的評級分數計算各通道對應的概率值；

步驟S43：根據M＝N×wrs_ratio計算通道保留數；其中，M為通道保留數，N為輸入通道的總數量，wrs_ratio為常數；

步驟S44：選擇最大概率值對應的M個通道。

3.根據權利要求1所述的基于自適應多模態遙感圖像融合語義標注方法，其特征在于，所述步驟S6，具體包括：

步驟S61：將第一卷積特征圖集合分別進行卷積處理，獲得第三卷積特征圖集合和第四卷積特征圖集合；

步驟S62：對第三卷積特征圖集合進行重整形和轉置處理，獲得第一轉置特征圖集合；

步驟S63：對第四卷積特征圖集合進行重整形處理，獲得第一整形特征圖集合；

步驟S64：將第一轉置特征圖集合與第一整形特征圖集合進行相乘，經過softmax層得到空間注意力圖集合；

步驟S65：將第一卷積特征圖集合進行卷積處理，獲得第五卷積特征圖集合；

步驟S66：將第五卷積特征圖集合進行重整形處理，獲得第二整形特征圖集合；

步驟S67：將第二整形特征圖集合與空間注意力圖集合進行相乘以及重整形處理，獲得第三整形特征圖集合；

步驟S68：將第一卷積特征圖集合與第三整形特征圖集合進行像素級相加處理，獲得位置輸出特征圖集合。

4.根據權利要求1所述的基于自適應多模態遙感圖像融合語義標注方法，其特征在于，所述步驟S7，具體包括：

步驟S71：將第二卷積特征圖集合進行重整形和轉置處理，獲得第二轉置特征圖集合；

步驟S72：將第二卷積特征圖集合進行重整形處理，獲得第四整形特征圖集合；

步驟S73：將第二轉置特征圖集合和第四整形特征圖集合進行相乘，經過softmax層得到通道注意力圖集合；

步驟S74：將第二卷積特征圖集合和通道注意力圖集合進行相乘以及重整形處理，獲得第五整形特征圖集合；

步驟S75：將第二卷積特征圖集合和第五整形特征圖集合進行維度相加處理，獲得維度輸出特征圖集合。