[發明專利]一種基于多模態深度學習的信號指紋識別方法

有效

• 申請號: 202011220547.4
• 申請日: 2020-11-05
• 公開（公告）號: CN112347910B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 鐘軼
• 申請（專利權）人: 中國電子科技集團公司第二十九研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 賈年龍

1.一種基于多模態深度學習的信號指紋識別方法，其特征在于，包括以下步驟：

S1、對原始信號進行多種變換域空間的特征表示，并將多種特征表示組合為信號的多模態特征；

S2、根據信號的多模態特征構建面向多種信號變換域特征的多模態深度學習網絡，通過對多模態深度學習網絡的訓練得到應用于信號指紋識別的分類器，并通過分類器進行信號指紋的識別；

所述步驟S1的具體步驟為：

S11、對原始輸入的信號數據按照固定長度切片作為單幀輸入，切片長度為n(n＝2ⁱ，i＝6,7,8…)，獲取i類切片數據，將每類單幀數據記為Sⁱ；

S12、對原始輸入的信號波形數據進行完整的時域、頻域以及變換域的空間處理，進而再獲取固定尺寸的二維圖像，并統一利用雙三插值進行圖像壓縮并做灰度化處理，記第j類變換得到的圖像為G^j；

S13、將原始信號的切片序列和頻譜圖像的集合C＝{S¹,S²,S³,…,G¹,G²,G³,…}作為信號的多模態特征；

所述步驟S2中構建多模態深度學習網絡的具體步驟為：

S21、對集合C中的每一個切片數據特征Sⁱ，設計一個m(m＝4,5,6…)層結構的深度神經網絡模型，所述深度神經網絡模型的第一層為輸入層，中間層位長短時記憶層，將最后一個長短時記憶層作為輸出層，輸出結果為OSⁱ；

S22、對集合C中的每一個圖像特征G^j，構建t(t＝3,4,5…)層結構的深度卷積神經網絡或含r(r＝2,3,4…)個單元的殘差網絡，其中每個殘差單元包含兩次短路連接k(k＝2,3,4…)個卷積層、2個非線性整流函數激活層和1個最大池化層，將最后一個池化層作為輸出層，輸出結果為OG^j；

S23、將輸出結果OSⁱ和OG^j進行合并，并進行p(p＝2,3…)層全連接層的處理，對最后全連接層的輸出以Sigmoid函數進行激活，構建多模態深度學習網絡。

2.根據權利要求1所述的基于多模態深度學習的信號指紋識別方法，其特征在于，所述步驟S12中的空間處理具體為：通過快速傅里葉變換、短時傅里葉變換、雙譜變換、連續小波變換、希爾伯特黃變換、魏格納-威爾分布、Cohen類分布獲取脈內波形數據的時頻和時相圖。

3.根據權利要求1所述的基于多模態深度學習的信號指紋識別方法，其特征在于，所述圖像G^j的尺寸為K^j×K^j，K^j的取值包括但不限于128、224、256和512。

4.根據權利要求1所述的基于多模態深度學習的信號指紋識別方法，其特征在于，所述步驟S2中訓練多模態深度學習網絡的具體步驟為：針對每一種單模態特征，準備數量一致的訓練模型和測試數據模型，利用誤差的反向傳播對損失函數進行迭代優化，并朝其值減小的方向更新網絡權重系數，當到達預設的迭代輪數或損失值不再降低時，停止網絡訓練，得到訓練好的多模態深度學習網絡。

5.根據權利要求4所述的基于多模態深度學習的信號指紋識別方法，其特征在于，所述步驟S2中識別信號指紋的具體步驟為：將集合C中的多模態特征作為訓練好的多模態深度學習網絡的模型輸入，得到識別結果。