[發明專利]基于毫米波雷達的端到端神經網絡人體行為識別方法及其裝置

有效

• 申請號: 202310836773.2
• 申請日: 2023-07-10
• 公開（公告）號: CN116580460B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 徐剛;杜昊澤;林佳璇;張慧;洪偉;郭坤鵬;周振超;馮友懷
• 申請（專利權）人: 南京隼眼電子科技有限公司;東南大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06N3/0464;G06N3/08;G06N3/0442
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 張華蒙

1.一種基于雷達的端到端神經網絡人體行為識別方法，其特征在于，包括：

獲取所述雷達采集到的人體行為的原始回波數據；

根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息，其中復數時頻變換網絡包括至少一個復數全連接層；

將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果。

2.根據權利要求1所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述獲取所述雷達采集到的人體行為的原始回波數據包括：

對所述原始回波數據進行滑窗式數據處理，得到多個窗口數據。

3.根據權利要求1所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息包括：

確定所述復數時頻變換網絡，所述復數時頻變換網絡表達式為：

，其中，均為采樣點數值大小，為角頻率，為輸入信號長度，為復數全連接層的輸出，為目標回波信號即復數全連接層的輸入，為矩形窗函數，是復數全連接層的權重系數，復數全連接層的偏置系數設為0。

4.根據權利要求3所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述復數時頻變換網絡包括兩個復數全連接層，所述復數時頻變換網絡中的兩個復數全連接層分別對原始回波數據的距離維和多普勒維進行處理。

5.根據權利要求3所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果包括：

通過所述分類網絡對所述目標時頻信息進行特征提取以獲得特性信息；

根據所述特性信息輸出所述分類結果。

6.根據權利要求1所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述分類網絡包括卷積塊、雙向長短期記憶網絡和全連接層。

7.根據權利要求6所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述卷積塊包括二維卷積層、批歸一化層、線性激活層和最大值池化層。

8.根據權利要求6所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述全連接層包括全連接層和邏輯回歸層。

9.根據權利要求1所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述原始回波數據包括第一維度數據和第二維度數據，其中快時間采樣獲得所述第一維度數據，慢時間采樣獲得第二維度數據。

10.根據權利要求1所述的基于雷達的端到端神經網絡人體行為識別方法，其特征在于，所述雷達包括第一雷達和第二雷達，所述第一雷達朝向所述人體正面并發射雷達波，所述第二雷達朝向所述人體的背面并發射雷達波，所述獲取所述雷達采集到的人體行為的原始回波數據還包括：

對所述第一雷達的原始回波數據和所述第二雷達的原始回波數據進行滑窗式數據處理，得到多個窗口數據。

11.一種基于雷達的端到端神經網絡人體行為識別裝置，其特征在于，所述裝置包括

數據獲取單元，用于獲取所述雷達采集到的人體行為的原始回波數據；

數據轉換單元，用于根據所述原始回波數據進行復數時頻變換網絡得到目標時頻信息，其中復數時頻變換網絡包括至少一個復數全連接層；

數據分類單元，用于將所述目標時頻信息作為分類網絡的輸入，得到所述分類網絡輸出的人體行為分類結果。