[發明專利]一種人體行為識別和身份認證方法、裝置和電子設備

有效

• 申請號: 202110481401.3
• 申請日: 2021-04-30
• 公開（公告）號: CN113449587B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 景曉軍;張榮輝;穆俊生;黃海;崔原豪;張芳沛;張浩
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/82;G06N3/0464;G06N3/0442
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

1.一種人體行為識別和身份認證方法，其特征在于，包括：

獲取手勢識別感知數據，所述手勢識別感知數據是信道狀態信息CSI感知數據；

對所述手勢識別感知數據進行預處理，得到預處理后的手勢識別感知數據；

對所述預處理后的手勢識別感知數據進行時頻變換，得到所述手勢識別感知數據對應的時頻圖，所述時頻圖用于反映人體手勢引起的信號波動信息；

將所述時頻圖輸入預先訓練好的多任務模型，通過所述多任務模型輸出手勢識別結果以及身份認證結果；其中，所述多任務模型是基于多個樣本數據對多任務學習模型訓練得到的，所述多任務學習模型是基于手勢識別任務和身份認證雙重任務而構建的，所述樣本數據是無線設備與接收設備之間存在人體手勢時而采集的CSI感知數據；多個樣本數據至少包括不同人作出相同人體手勢時而采集的多個CSI感知數據；

其中，得到所述預先訓練好的多任務模型，包括：

獲取多個樣本數據，所述樣本數據是無線設備與接收設備之間存在人體手勢時而采集的CSI感知數據；多個樣本數據至少包括不同人作出相同人體手勢時而采集的多個CSI感知數據；獲取各個樣本數據分別對應的樣本真值，所述樣本真值用于表示所述樣本數據中人體手勢所對應的手勢識別結果標簽值和身份認證結果標簽值；針對各個樣本數據，對所述樣本數據進行預處理，得到預處理后的樣本數據；對所述預處理后的樣本數據進行時頻變換，得到所述樣本數據對應的時頻圖；基于手勢識別任務和身份認證雙重任務構建多任務學習模型；所述多任務學習模型包括所述手勢識別任務和所述身份認證雙重任務分別對應的不同權重的損失函數；利用多個樣本數據對應的時頻圖和所述樣本真值，對所述多任務學習模型進行訓練，得到訓練好的多任務學習任務。

2.根據權利要求1所述的方法，其特征在于，所述CSI感知數據為其中，H(f,t)表示t時刻的CSI感知數據，N表示多徑的數量，α_n表示路徑n下的復衰落，τ_n表示路徑n下的傳播延遲，ε^(f,t)表示由時序對準偏移，采樣頻率偏移和載波頻率偏移引起的相位誤差，f表示頻率，j表示虛數的虛部；

所述對所述手勢識別感知數據進行預處理，得到預處理后的手勢識別感知數據，包括：

通過將所述手勢識別感知數據轉換為穩態信號和動態信號，并提取所述動態信號，所述動態信號為所述預處理后的手勢識別感知數據；其中，H_S(f)表示所有穩態信號的和，P_d表示動態信號集合；u表示用于積分的時間標識，D_n表示第n條路徑的長度。

3.根據權利要求1所述的方法，其特征在于，所述對所述預處理后的手勢識別感知數據進行時頻變換，得到所述手勢識別感知數據對應的時頻圖，包括：

通過短時傅里葉變換對所述預處理后的手勢識別感知數據進行時頻變換，得到多普勒效應DFS時頻圖。

4.根據權利要求1所述的方法，其特征在于，所述多任務模型包括：空間注意力層、時間注意力層和特定任務全連接層；

所述通過所述多任務模型輸出手勢識別結果以及身份認證結果，包括：

通過所述空間注意力層提取所述時頻圖對應的空間注意力特征，所述空間注意力特征包括帶有權重的空間特征，所述空間特征是基于卷積神經網絡CNN而提取得到的；不同權重表示所述時頻圖中不同位置具有不同關注級別的特征；

將所述空間注意力特征輸入所述時間注意力層，通過所述時間注意力層提取對應的時間注意力特征，所述時間注意力特征用于表示所述時頻圖的時間序列長度；

將所述時間注意力特征輸入所述特定任務全連接層，通過所述特定任務全連接層輸出手勢識別結果以及身份認證結果。

5.根據權利要求4所述的方法，其特征在于，所述空間注意力層包括卷積神經網絡CNN；所述時間注意力層包括長短期記憶網絡LSTM。