[發(fā)明專利]一種基于特征融合的跨模態(tài)信息目標(biāo)識別方法及裝置

有效

• 申請?zhí)枺?/td>: 202210498903.1
• 申請日: 2022-05-09
• 公開（公告）號: CN115034257B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 劉準(zhǔn)釓;劉蕊;馮斌
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06F18/213
• 分類號: G06F18/213;G06F18/24;G06F18/25;G06N3/0464;G06N3/084
• 代理公司: 西安維賽恩專利代理事務(wù)所(普通合伙) 61257
• 代理人: 李明全

本發(fā)明公開了一種基于特征融合的跨模態(tài)信息目標(biāo)識別方法及裝置，獲取目標(biāo)的雷達(dá)數(shù)據(jù)和第一SAR圖像數(shù)據(jù)；將雷達(dá)數(shù)據(jù)轉(zhuǎn)換為第二SAR圖像數(shù)據(jù)；提取第一SAR圖像數(shù)據(jù)的第一特征數(shù)據(jù)，以及提取第二SAR圖像數(shù)據(jù)的第二特征數(shù)據(jù)，并對第一特征數(shù)據(jù)和第二特征數(shù)據(jù)進(jìn)行聯(lián)合，得到融合特征數(shù)據(jù)；根據(jù)融合特征數(shù)據(jù)確定目標(biāo)的類別；本發(fā)明通過同時獲取雷達(dá)數(shù)據(jù)和SAR圖像，并將雷達(dá)數(shù)據(jù)轉(zhuǎn)換為SAR圖像，可以實現(xiàn)雷達(dá)數(shù)據(jù)的充分利用，縮小兩模態(tài)之間的特征維度差異，再結(jié)合聯(lián)合特征表達(dá)，可以有效地提升目標(biāo)識別準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明屬于信息融合及目標(biāo)識別技術(shù)領(lǐng)域具體設(shè)計一種基于特征融合的跨模態(tài)信息目標(biāo)識別方法及裝置。

背景技術(shù)

目標(biāo)識別技術(shù)已經(jīng)廣泛應(yīng)用于國防等領(lǐng)域。異類網(wǎng)絡(luò)的廣泛使用產(chǎn)生了不同來源、不同類型、不同分布的多模式的數(shù)據(jù)。在復(fù)雜背景和干擾的存在下，多模態(tài)信息融合技術(shù)可以通過挖掘這些數(shù)據(jù)之間的差異性和互補性，提高目標(biāo)識別的準(zhǔn)確性、可靠性和魯棒性。

海上艦船目標(biāo)作為海上監(jiān)測和戰(zhàn)時打擊的重點目標(biāo)，能否被快速準(zhǔn)確地識別尤為關(guān)鍵，對維護(hù)國防安全有著重要意義。目前合成孔徑雷達(dá)(SAR)圖像和雷達(dá)輻射源信號識別成為研究海洋目標(biāo)檢測與監(jiān)視的常用途徑。高分辨SAR系統(tǒng)的分辨率已經(jīng)可以達(dá)到厘米級，能夠清晰地對大型戰(zhàn)術(shù)目標(biāo)進(jìn)行清晰地成像。雷達(dá)輻射源識別可以實時辨認(rèn)對抗雷達(dá)的類型，確定雷達(dá)的載體、用途和威脅等級等。然而，SAR圖像容易受到背景強散射雜波的不均勻性、目標(biāo)的不完整性、十字旁瓣模糊和臨近目標(biāo)干擾等因素的影響，導(dǎo)致一些艦船不能很好地被識別。在不少的雷達(dá)技術(shù)性能中，有些數(shù)據(jù)相同或很近，也會導(dǎo)致識別結(jié)果有可能是多種雷達(dá)。

多模態(tài)數(shù)據(jù)的融合方法主要有基于模型和與模型無關(guān)兩種?；谀Ｐ偷姆椒ㄖ饕懈怕蕡D模型、基于核的方法和神經(jīng)網(wǎng)絡(luò)模型。與模型無關(guān)的方法包括特征級融合、決策級融合和混合融合。特征級融合主要有協(xié)同特征表示和聯(lián)合特征表示。決策級融合是對兩類或多類數(shù)據(jù)分別進(jìn)行決策任務(wù)，再將每種模態(tài)數(shù)據(jù)的決策結(jié)果通過貝葉斯規(guī)則融合、最大值融合或平均值融合等規(guī)則進(jìn)行融合。混合融合則是特征級融合與決策級融合的結(jié)合。

目前，多模態(tài)信息特征融合的主要方法是聯(lián)合特征表示和協(xié)同特征表示，再通過聯(lián)合特征表示來完成特征融合時，由于SAR圖像的特征維度遠(yuǎn)大于雷達(dá)數(shù)據(jù)，目前已有的直接相連或者相乘的方法可能會導(dǎo)致融合后雷達(dá)數(shù)據(jù)信息直接被忽略，進(jìn)而造成目標(biāo)識別準(zhǔn)確度低和魯棒性差。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于特征融合的跨模態(tài)信息目標(biāo)識別方法，以充分利用雷達(dá)數(shù)據(jù)的信息，并結(jié)合SAR圖像信息提升目標(biāo)識別的準(zhǔn)確度。

本發(fā)明采用以下技術(shù)方案：一種基于特征融合的跨模態(tài)信息目標(biāo)識別方法，包括以下步驟：

獲取目標(biāo)的雷達(dá)數(shù)據(jù)和第一SAR圖像數(shù)據(jù)；

將雷達(dá)數(shù)據(jù)轉(zhuǎn)換為第二SAR圖像數(shù)據(jù)；

提取第一SAR圖像數(shù)據(jù)的第一特征數(shù)據(jù)，以及提取第二SAR圖像數(shù)據(jù)的第二特征數(shù)據(jù)，并對第一特征數(shù)據(jù)和第二特征數(shù)據(jù)進(jìn)行聯(lián)合，得到融合特征數(shù)據(jù)；

根據(jù)融合特征數(shù)據(jù)確定目標(biāo)的類別。

優(yōu)選的，將雷達(dá)數(shù)據(jù)轉(zhuǎn)換為第二SAR圖像數(shù)據(jù)包括：

通過雷達(dá)數(shù)據(jù)分類器為雷達(dá)數(shù)據(jù)進(jìn)行分類；

根據(jù)分類結(jié)果為雷達(dá)數(shù)據(jù)選擇對應(yīng)的模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)；

采用模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)提升雷達(dá)數(shù)據(jù)的維度，得到第二SAR圖像數(shù)據(jù)；其中，第二SAR圖像數(shù)據(jù)的維度與第一SAR圖像數(shù)據(jù)的維度相等。

優(yōu)選的，模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)由依次連接的全連接層組成。

優(yōu)選的，模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)由依次連接的五個全連接層組成；