[發明專利]基于毫米波雷達的手勢分割與識別算法

有效

• 申請號: 202011099838.2
• 申請日: 2020-10-15
• 公開（公告）號: CN113408328B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 趙占鋒;周志權;陳雄蘭;吳中杰;潘山;宮宇
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06F18/241
• 分類號: G06F18/241;G06F18/10;G06F18/214;G06F18/21;G06N3/0464;G06N3/048;G06N3/084;G06N3/047
• 代理公司: 威?？菩菍＠聞账?37202
• 代理人: 初姣姣

1.一種基于毫米波雷達的手勢識別方法，包括模型搭建與訓練階段以及模型應用階段，其特征在于，所述模型搭建與訓練階段包括以下步驟：

步驟1：采集手勢動作的雷達回波數據，其中單一手勢動作每個采集周期中，動作均重復多次，同時采集連續手勢動作，其中至少包含兩種手勢，并記錄手勢改變的時刻；

步驟2：將雷達發射信號S_T(t)和接收信號S_R(t)輸入到混頻器，得到的混頻信號S_M(t)通過低通濾波器濾除高頻部分，得到中頻信號頻率S_IF(t)，其中，77GHz毫米波雷達發射信號S_T(t)具體表示式為：

其中，A_T表示發射信號的幅值,f_c是載波的中心頻率，T是鋸齒波信號脈寬，f_T(τ)表示在T時間內發射信號的頻率；

雷達接收信號S_R(t)具體表示式為：

其中，A_T為接收信號幅值，Δt為時延，f_R(t)為T時間內接收信號頻率；

通過混頻器得到混頻信號S_M(t)，其表示式為：S_M(t)＝S_T(t)S_R(t)

混頻信號S_M(t)通過低通濾波器，得到中頻信號S_IF(t)，其表示式為：

步驟3：對中頻信號逐幀進行二維傅里葉變換，然后進行高通濾波，得到時間-距離-速度三維圖譜；

步驟4：將單一手勢動作集按時間軸滑動窗口對視頻數據集進行片段切分，切分的樣本前后有部分重疊的序列幀，重疊的幀數由滑動窗口算法的窗長和步長決定，不同步長和窗口長度直接影響手勢分割和識別的效果，得到一系列樣本后，隨機劃分為訓練集S_train和驗證集S_val；

步驟5：建立三維卷積神經網絡模型，將訓練集S_train作為三維卷積神經網絡的輸入數據，訓練三維卷積神經網絡，并用驗證集S_val測試其性能，具體包括：

步驟5-1：搭建三維卷積神經網絡模型，其中包含4層3D卷積層，卷積核個數分別為4、8、32、64，激活函數采用ReLU，4層BN層，3層最大3D池化層，通過flatten層展平，再通過3層全連接層，神經元個數分別為256、32、3，前兩層激活函數采用tanh，輸出層激活函數采用softmax得到輸出；步驟5-2：選取訓練總輪數，每輪訓練前隨機打亂訓練集S_train；

步驟5-3：輸入訓練集S_train對模型進行訓練epoch＝30，以10個樣本作為一個batch，損失函數是交叉熵；訓練時采用Adam算法作為模型梯度的優化算法，Adam算法采用自適應動態調整的學習率，能夠根據不同的參數選擇不同的學習率，還能夠對學習率形成一個動態約束，避免較大的梯度波動，記錄訓練集的損失函數值和準確率，每個epoch結束后利用驗證集S_val進行驗證，記錄驗證集的損失函數值和準確率；

將訓練集S_train作為三維卷積神經網絡的輸入數據，訓練三維卷積神經網絡，并用驗證集S_val測試其性能；

所述模型應用階段包括：

步驟6：對于連續手勢集，逐幀滑動窗口提取樣本并投入步驟5中訓練好的三維卷積神經網絡模型中進行識別，初步識別結果通過分割算法進行精確定位和手勢分割，最終獲得完整手勢信息；

步驟4具體包括以下步驟：

步驟4-1：估算動作周期，多次試驗確定最佳的窗長L和步長l_sp，窗長應小于最快動作一個周期的幀數；

步驟4-2：以步長l_sp滑動窗口，截取樣本，并添加標簽；

步驟4-3：按照80％、20％的比例將樣本劃分為訓練集S_train和驗證集S_val；

步驟6中具體包括以下步驟：

步驟6-1：按照在時間軸上步長l_sp和窗長L，其中l_sp＜＝L劃分連續手勢三維圖譜，并投入步驟5中獲得的模型中進行識別，將識別結果記錄為數組并可視化；步驟6-2：將最大識別概率低于0.8的窗標記為過渡窗；

步驟6-3：將連續識別為同一動作的片段記錄為動作；

步驟6-4：將輸出標簽的概率矩陣曲線的兩兩相交，隨著時間的增加，某一種手勢標簽的輸出概率下降，另一種手勢標簽的輸出概率上升，兩標簽輸出概率曲線的交叉點作為分割的邊界點，并確定為動作起止點或者是分界點，完成手勢分割；步驟6-5：將找到的分割邊界與分工分割記錄的分割邊界進行對比，性能分析。

2.根據權利要求1所述的一種基于毫米波雷達的手勢識別方法，其特征在于，具體采用以下步驟：

步驟1：設計上下揮手、左右揮手和前推后拉三種手勢動作，將每一種動作記為不同類別，單一手勢動作每個采集周期中，動作均重復多次，同時，采集連續手勢動作，其中至少包含兩種手勢，并記錄手勢改變的時刻，包括以下步驟：

步驟1-1：設計上下揮手、左右揮手和前推后拉這三個手勢動作作為要采集的動作，為每個動作添加標簽；

步驟1-2：對數據采集所用的77GHz毫米波雷達進行參數配置，根據手勢識別的實際應用場景，設置合適的雷達波形參數；可以采用TI公司的IWR1642雷達，波形是線性調頻連續波，采樣頻率為2000kHz，幀周期為45ms，每次采集150幀數據，每幀內有128個chirp信號，每個chirp信號有64個采樣點，天線采用單發單收方式，采集環境為較為空曠的走廊；

步驟1-3：采集單一手勢動作，每個采集周期中，動作連續重復進行；

步驟1-4：采集混合手勢動作，每個采集周期中至少包含兩種手勢，并記錄手勢改變的時刻；

步驟2：將雷達發射信號S_T(t)和接收信號S_R(t)輸入到混頻器，得到的混頻信號S_M(t)通過低通濾波器濾除高頻部分，得到中頻信號頻率S_IF(t)；

步驟3：對中頻信號逐幀進行二維傅里葉變換，然后進行高通濾波，得到時間-距離-多普勒三維圖譜，包括以下步驟：

步驟3-1：由雷達參數，128個掃頻信號構成一幀；

步驟3-2：對每幀信號進行二維傅里葉變換，得到距離-多普勒圖；

步驟3-3：選取高通濾波器，對每一幀信號進行高通濾波，去除靜目標雜波干擾；步驟3-4：按幀順序排列距離-多普勒圖，得到時間-距離-多普勒三維圖譜；

步驟4：將單一手勢動作集按時間軸滑動窗口對雷達視頻進行片段切分，得到一系列樣本，并劃分為訓練集S_train和驗證集S_val，包括以下步驟：

步驟4-1：估算動作周期，確定窗長L，窗長小于最快動作一個周期的幀數，保證樣本中記錄動作的視頻片段信息，窗長不宜太大，容易導致后續測試的連續手勢的分割邊界不明確，也不宜太小，太小，視頻片段信息太少，不足以代表一種手勢運動狀態的特性；

步驟4-2：假設采集到的連續手勢的總的幀數為N，在時間維度上以一定步長l_sp滑動窗口，從單一手勢信號集中截取樣本，并添加標簽，每個三維圖譜獲取個樣本；

步驟4-3：將所有樣本按照80％、20％的比例劃分為訓練集S_train和驗證集S_val；

步驟5：將訓練集S_train作為三維卷積神經網絡的輸入數據，訓練三維卷積神經網絡，并用驗證集S_val測試其性能,包括以下步驟：

步驟5-1：建立三維卷積神經網絡模型，其包含4層3D卷積層，卷積核個數分別為4、8、32、64，激活函數采用ReLU；4層BN層，3層最大3D池化層，通過flatten層展平，再通過3層全連接層，神經元個數分別為256、32、3，前兩層激活函數采用tanh，輸出層激活函數采用softmax得到輸出；

步驟5-2：選取訓練總輪數，每輪訓練前隨機打亂訓練集S_train；

步驟5-3：輸入訓練集S_train對模型進行訓練epoch＝30，以10個樣本作為一個batch，損失函數是交叉熵；訓練時采用Adam算法作為模型梯度的優化算法，Adam算法采用自適應動態調整的學習率，能夠根據不同的參數選擇不同的學習率，還能夠對學習率形成一個動態約束，避免較大的梯度波動；記錄訓練集的損失函數值和準確率；每個epoch結束后利用驗證集S_val進行驗證，記錄驗證集的損失函數值和準確率；

步驟6：對于連續手勢集，逐幀滑動窗口提取樣本并投入訓練好的網絡進行識別，初步識別結果通過分割算法進行精確定位和手勢分割，最終獲得完整手勢信息，包括以下步驟：

步驟6-1：按照在時間軸上窗長L，步長l_sp劃分連續手勢三維圖譜，投入網絡進行識別測試，將三種標簽的識別概率記錄下來并進行可視化；

步驟6-2：將最大識別概率低于設定的閾值的窗標記為過渡窗，其余窗依據其最大識別概率打上相應標簽；

步驟6-3：將連續識別結果為同一動作的片段記錄為動作；

步驟6-4：確定動作起止點，完成手勢分割。