[發(fā)明專利]一種基于時空多特征提取的行為識別系統(tǒng)及其工作方法

有效

• 申請?zhí)枺?/td>: 201911099301.3
• 申請日: 2019-11-12
• 公開（公告）號: CN110852382B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 許宏吉;張貝貝;石磊鑫;王玨;李夢荷;邢慶華;李娟
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: G06F18/241
• 分類號: G06F18/241;G06F18/25;G06F18/213;G06N3/0464;G06N3/045;G06N3/0442;H04W4/38
• 代理公司: 濟(jì)南金迪知識產(chǎn)權(quán)代理有限公司 37219
• 代理人: 許德山

1.一種基于時空多特征提取的行為識別系統(tǒng)，其特征在于，包括依次連接的行為信息采集模塊、行為信息多模態(tài)傳輸模塊、行為信息處理模塊、行為信息應(yīng)用模塊；所述行為信息處理模塊包括依次連接的行為信息預(yù)處理模塊和行為信息分類模塊，所述行為信息多模態(tài)傳輸模塊連接所述行為信息預(yù)處理模塊，所述行為信息分類模塊連接所述行為信息應(yīng)用模塊；

所述行為信息采集模塊用于：實(shí)時采集人體的生理數(shù)據(jù)和運(yùn)動數(shù)據(jù)，生理數(shù)據(jù)包括心率值和皮膚電阻值，運(yùn)動數(shù)據(jù)包括三軸加速度值和三軸角速度值；三軸為X軸、Y軸和Z軸，三軸加速度值包括X軸加速度值、Y軸加速度值和Z軸加速度值，三軸角速度值包括X軸角速度值、Y軸角速度值和Z軸角速度值；

所述行為信息多模態(tài)傳輸模塊用于：將采集的人體的生理數(shù)據(jù)和運(yùn)動數(shù)據(jù)傳輸至云服務(wù)器；

所述行為信息處理模塊用于：將接收到的生理數(shù)據(jù)和運(yùn)動數(shù)據(jù)通過所述行為信息預(yù)處理模塊和所述信息分類模塊，得到當(dāng)前用戶的行為類型；

所述行為信息預(yù)處理模塊用于：對接收到的人體的生理數(shù)據(jù)和運(yùn)動數(shù)據(jù)依次進(jìn)行缺失信息的補(bǔ)全操作、錯誤信息的刪除操作、歸一化及滑動窗口切割；

所述行為信息分類模塊用于：通過基于時空多特征提取的深度學(xué)習(xí)算法對人體當(dāng)前行為進(jìn)行判斷；

所述行為信息應(yīng)用模塊用于：輸出人體當(dāng)前行為，并對人體當(dāng)前行為的危險性進(jìn)行判斷和實(shí)時報警。

2.根據(jù)權(quán)利要求1所述的一種基于時空多特征提取的行為識別系統(tǒng)，其特征在于，所述行為信息采集模塊包括行為信息類型選擇單元、若干個運(yùn)動數(shù)據(jù)感知單元和若干個生理數(shù)據(jù)感知單元，所述信息類型選擇單元分別連接每個運(yùn)動數(shù)據(jù)感知單元以及每個生理數(shù)據(jù)感知單元；

所述行為信息類型選擇單元根據(jù)用戶設(shè)定開啟相應(yīng)的運(yùn)動數(shù)據(jù)感知單元或生理數(shù)據(jù)感知單元；所述運(yùn)動數(shù)據(jù)感知單元包括若干個三軸加速度傳感器和若干個三軸角速度傳感器，用于采集人體的運(yùn)動數(shù)據(jù)；所述生理數(shù)據(jù)感知單元包括若干個心率傳感器、若干個皮膚電傳感器，用于采集人體的生理數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的一種基于時空多特征提取的行為識別系統(tǒng)，其特征在于，所述行為信息類型選擇單元為模式切換按鍵。

4.根據(jù)權(quán)利要求2所述的一種基于時空多特征提取的行為識別系統(tǒng)，其特征在于，所述行為信息多模態(tài)傳輸模塊包括傳輸類型選擇單元、若干個行為信息發(fā)送單元和行為信息接收單元；所述傳輸類型選擇單元分別連接每個行為信息發(fā)送單元，每個行為信息發(fā)送單元均連接所述行為信息接收單元；

所述傳輸類型選擇單元根據(jù)用戶設(shè)定選擇不同的行為信息發(fā)送單元和行為信息接收單元；

所述行為信息發(fā)送單元用于信息的發(fā)送；

所述行為信息接收單元用于信息的接收。

5.根據(jù)權(quán)利要求4所述的一種基于時空多特征提取的行為識別系統(tǒng)，其特征在于，所述行為信息發(fā)送單元為LoRa節(jié)點(diǎn)、WiFi節(jié)點(diǎn)和4G/5G節(jié)點(diǎn)中的任一種，所述傳輸類型選擇單元有LoRa、WiFi和4G/5G三種模式，所述行為信息接收單元為與信息發(fā)送單元對應(yīng)的LoRa基站、WiFi網(wǎng)關(guān)和4G/5G基站中的任一種。