[發明專利]基于毫米波雷達的端到端神經網絡人體行為識別方法及其裝置

有效

• 申請號: 202310836773.2
• 申請日: 2023-07-10
• 公開（公告）號: CN116580460B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 徐剛;杜昊澤;林佳璇;張慧;洪偉;郭坤鵬;周振超;馮友懷
• 申請（專利權）人: 南京隼眼電子科技有限公司;東南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06N3/0464;G06N3/08;G06N3/0442
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 張華蒙

本發明公開了一種基于雷達的端到端神經網絡人體行為識別方法及其裝置。所述方法包括：獲取所述雷達采集到的人體行為的原始回波數據；根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息，其中復數時頻變換網絡包括至少一個復數全連接層；將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果。本發明通過復數時頻變換網絡代替STFT變換，將目標信號變換到時間?頻率域中，再利用二維卷積層和雙向長短期記憶網絡進行處理，提取目標時頻信息的特征信息，實現對人體行為的分類識別。

技術領域

本發明涉及機器學習技術領域，尤其涉及基于雷達的端到端神經網絡人體行為識別方法及其裝置。

背景技術

隨著物聯網技術的不斷發展，基于各類傳感器（光學攝像頭、紅外、雷達、Wi-Fi等）的人體行為識別技術在智能家居、安檢、老年人健康監測等多個場景的應用不斷深入。當前基于毫米波雷達的人體行為識別技術主要是使用短時傅里葉變換方法（short-timeFourier?transform?，STFT）對雷達原始回波數據進行預處理，在時間-頻率域中表示信號，取信號模值后得到目標的時間-多普勒圖（Time?Doppler?Map,?TDM）；或使用距離-多普勒變換方法，對原始回波數據先后做距離維快速傅里葉變換（Fast?Fourier?Transform,FFT）和多普勒維FFT，得到目標的距離-多普勒圖（Range?Doppler?Map,?RDM），從而將雷達信號分類問題轉換為圖像分類問題。然后使用二維深度卷積神經網絡（2-DimensionConvolution?Neutral?Network,?2D-CNN）對目標TDM或RDM進行特征信息提取，進而完成不同人體行為動作的分類。

目前使用神經網絡進行特征提取和目標分類的主流方法不是端到端意義上的神經網絡，仍依賴于原始數據的人工預處理過程，包括STFT，距離-多普勒變換等，導致計算流程長，計算效率低。將目標TDM或RDM作為樣本輸入的神經網絡，分類效果受到STFT方法和距離-多普勒變換的限制，不能最大限度的學習目標的特征信息。TDM和RDM是信號取模值后的結果，忽略了目標信號的實虛部差異，且現有的神經網絡基本為實數神經網絡，沒有很好的利用目標在運動過程中的相位變化信息。

發明內容

本發明提供了一種基于雷達的端到端神經網絡人體行為識別方法及其裝置能有效解決目前采用神經網絡對雷達數據采用快速傅里葉變換忽略了目標信號的實虛部差異導致分類準確度不高的問題。

根據本發明的一方面，提供一種基于雷達的端到端神經網絡人體行為識別方法，所述方法包括：獲取所述雷達采集到的人體行為的原始回波數據；根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息，其中復數時頻變換網絡包括至少一個復數全連接層；將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果。

進一步地，所述獲取所述雷達采集到的人體行為的原始回波數據包括：對所述原始回波數據進行滑窗式數據處理，得到多個窗口數據。

進一步地，所述根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息包括：

確定所述復數時頻變換網絡，所述復數時頻變換網絡表達式為：

，其中，均為采樣點數值大小，為角頻率，為輸入信號長度，為復數全連接層的輸出，為目標回波信號即復數全連接層的輸入，為矩形窗函數，是復數全連接層的權重系數，復數全連接層的偏置系數設為0。

進一步地，所述復數時頻變換網絡包括兩個復數全連接層，所述復數時頻變換網絡中的兩個復數全連接層分別對原始回波數據的距離維和多普勒維進行處理。

進一步地，所述將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果包括：通過所述分類網絡對所述目標時頻信息進行特征提取以獲得特性信息；根據所述特性信息輸出所述分類結果。

進一步地，所述分類網絡包括卷積塊、雙向長短期記憶網絡和全連接層。