[發明專利]一種基于特征融合的跨模態信息目標識別方法及裝置

有效

• 申請號: 202210498903.1
• 申請日: 2022-05-09
• 公開（公告）號: CN115034257B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉準釓;劉蕊;馮斌
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F18/213
• 分類號: G06F18/213;G06F18/24;G06F18/25;G06N3/0464;G06N3/084
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 李明全

1.一種基于特征融合的跨模態信息目標識別方法，其特征在于，包括以下步驟：

獲取目標的雷達數據和第一SAR圖像數據；

將所述雷達數據轉換為第二SAR圖像數據；

提取所述第一SAR圖像數據的第一特征數據，以及提取所述第二SAR圖像數據的第二特征數據，并對所述第一特征數據和第二特征數據進行聯合，得到融合特征數據；對所述第一特征數據和第二特征數據進行聯合包括：

采用特征聯合模型對對所述第一特征數據和第二特征數據進行聯合；其中，所述特征聯合模型為：

其中，F(s,r)表示融合特征數據，s表示第一特征數據，r表示第二特征數據，σ(r)表示第二特征數據的方差，μ(s)表示第一特征數據的均值，σ(s)表示第一特征數據的方差，μ(r)表示第二特征數據的均值；

所述特征聯合模型使用均方誤差損失函數計算融合前后的信息損失，并反向傳播訓練權值；其中，損失函數L為：

L＝L_sar+L_radar，

其中，L_sar表示所述第一SAR圖像數據聯合前后的損失值，L_sar＝||f_sar-f_fusion||₂，f_sar表示所述第一SAR圖像數據經VGG19網絡得到的第一特征圖，f_fusion表示聯合特征圖，L_radar表示所述第二SAR圖像數據聯合前后的損失值，L_radar＝||μ(f_fusion)-μ(f_radar)||₂+||σ(f_fusion)-σ(f_radar)||₂，μ(f_fusion)表示聯合特征圖的均值，f_radar表示所述第二SAR圖像數據經VGG19網絡得到的第二特征圖，μ(f_radar)表示第二特征圖的均值，σ(f_fusion)表示聯合特征圖的方差，σ(f_radar)表示第二特征圖的方差；

根據所述融合特征數據確定目標的類別。

2.如權利要求1所述的一種基于特征融合的跨模態信息目標識別方法，其特征在于，將所述雷達數據轉換為第二SAR圖像數據包括：

通過雷達數據分類器為所述雷達數據進行分類；

根據分類結果為所述雷達數據選擇對應的模態轉換網絡；

采用模態轉換網絡提升所述雷達數據的維度，得到第二SAR圖像數據；其中，所述第二SAR圖像數據的維度與所述第一SAR圖像數據的維度相等。

3.如權利要求2所述的一種基于特征融合的跨模態信息目標識別方法，其特征在于，所述模態轉換網絡由依次連接的全連接層組成。

4.如權利要求3述的所述一種基于特征融合的跨模態信息目標識別方法，其特征在于，所述模態轉換網絡由依次連接的五個全連接層組成；

依次連接的所述五個全連接層的輸入特征維度和輸出特征維度分別為(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。

5.如權利要求2或4述的所述一種基于特征融合的跨模態信息目標識別方法，其特征在于，采用VGG19網絡提取所述第一SAR圖像數據的第一特征數據；

采用所述VGG19網絡提取所述第二SAR圖像數據的第二特征數據。

6.如權利要求1所述的一種基于特征融合的跨模態信息目標識別方法，其特征在于，根據所述融合特征數據確定目標的類別包括：

以所述融合特征數據為輸入數據，使用密集卷積網絡確定所述目標的類別。

7.一種基于特征融合的跨模態信息目標識別裝置，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-6任一項所述的一種基于特征融合的跨模態信息目標識別方法。