[發(fā)明專利]一種人體動作識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910324097.4
• 申請日: 2019-04-22
• 公開（公告）號: CN110222556A
• 公開（公告）日: 2019-09-10
• 發(fā)明（設(shè)計）人: 葉青;鐘浩鑫;張永梅
• 申請（專利權(quán)）人: 北方工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京科龍寰宇知識產(chǎn)權(quán)代理有限責任公司 11139
• 代理人: 孫皓晨

1.一種人體動作識別系統(tǒng)，其特征在于，所述系統(tǒng)包括：視頻圖像采集模塊、圖像標準化模塊、深度殘差雙向多記憶神經(jīng)網(wǎng)絡(luò)模塊、分類器模塊；

所述視頻圖像采集模塊將對原始視頻圖像進行采樣處理，得到采樣后視頻圖像，并輸入給圖像標準化模塊進行標準化處理，得到標準化視頻圖像；

所述標準化視頻圖像輸入深度殘差雙向多記憶神經(jīng)網(wǎng)絡(luò)模塊進行處理；

所述深度殘差雙向多記憶神經(jīng)網(wǎng)絡(luò)模塊包括剪枝網(wǎng)絡(luò)單元、深度殘差雙向網(wǎng)絡(luò)單元；

所述剪枝網(wǎng)絡(luò)單元通過刪減方式處理卷積神經(jīng)網(wǎng)絡(luò)，得到剪枝后的神經(jīng)網(wǎng)絡(luò)，所述剪枝遵循以下原則：

如果|w|<α，則相應(yīng)權(quán)重被去除，其中w為循環(huán)權(quán)重，α為敏感度參數(shù)；

所述深度殘差雙向網(wǎng)絡(luò)單元，通過深度殘差網(wǎng)絡(luò)結(jié)合雙向LSTM網(wǎng)絡(luò)實現(xiàn)，以快捷連接方式，減少參數(shù)之間相互依存關(guān)系，并將自身映射到疊加層與卷積層的輸出進行相加；

所述剪枝后的神經(jīng)網(wǎng)絡(luò)與所述雙向LSTM網(wǎng)絡(luò)聯(lián)合訓(xùn)練；

所述分類器模塊基于所述深度殘差雙向多記憶神經(jīng)網(wǎng)絡(luò)模塊的輸出進行分類。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述視頻采集模塊通過以下方式原始視頻圖像進行采樣處理：

每隔相同的幀數(shù)對一段視頻進行幀數(shù)的抽取，間隔的幀數(shù)T為：

其中，M為原始視頻的幀數(shù)，N為采樣后的視頻幀數(shù)。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述標準化處理通過處理各幀圖像的對比度實現(xiàn)，處理后圖像的對比度為：

其中是整個所述圖像的平均灰度，滿足圖像大小為r×c。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的參數(shù)集合為(θ₁,θ₂)，則系統(tǒng)損失函數(shù)可記為：

其中，X為輸入信號的抽象特征或?qū)蛹壉硎咎卣鳎琖為卷積核，b為偏置，M為整個網(wǎng)絡(luò)的階段數(shù)，N為輸入特征數(shù)量，L為損失函數(shù)，t為網(wǎng)絡(luò)層數(shù)，k為特征映射通道。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述分類器模塊如下：

其中，{(x⁽¹⁾,y⁽¹⁾),...,(x^(m),y^(m))}為訓(xùn)練集，y⁽ⁱ⁾∈{1,2,3,...,k}，共k個分類，p(y＝j(luò)|x)為每個輸入x都會有對應(yīng)每個類的概率，j＝(1,2,…,k)，是模型的參數(shù)。

6.一種人體動作識別方法，其特征在于，所述方法包括：

S1、對輸入的原始視頻圖像進行采樣處理，得到采樣后視頻圖像；并對采樣后視頻圖像進行標準化處理，得到標準化視頻圖像；

S2、通過剪枝后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合深度殘差雙向LSTM網(wǎng)絡(luò)，提取圖像特征；

S3、基于所述圖像特征進行分類，得到識別結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述S1中，所述采樣處理通過以下方式進行：

每隔相同的幀數(shù)對一段視頻進行幀數(shù)的抽取，間隔的幀數(shù)T為：

其中，M為原始視頻的幀數(shù)，N為采樣后的視頻幀數(shù)。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述S2中，所述剪枝后的神經(jīng)網(wǎng)絡(luò)，遵循以下原則進行剪枝：

如果|w|<α，則相應(yīng)權(quán)重被去除，其中w為循環(huán)權(quán)重，α為敏感度參數(shù)。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述S2中，剪枝后的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合深度殘差雙向LSTM網(wǎng)絡(luò)的參數(shù)集合為(θ₁,θ₂)，則系統(tǒng)損失函數(shù)可記為：

其中，X為輸入信號的抽象特征或?qū)蛹壉硎咎卣鳎琖為卷積核，b為偏置，M為整個網(wǎng)絡(luò)的階段數(shù)，N為輸入特征數(shù)量，L為損失函數(shù)，t為網(wǎng)絡(luò)層數(shù)，k為特征映射通道。

10.根據(jù)權(quán)利要求6所述的方法，其特征在于，在網(wǎng)絡(luò)訓(xùn)練過程中，所述剪枝后的神經(jīng)網(wǎng)絡(luò)與深度殘差雙向LSTM網(wǎng)絡(luò)聯(lián)合訓(xùn)練。