[發明專利]一種人體動作識別系統及方法

在審

• 申請號: 201910324097.4
• 申請日: 2019-04-22
• 公開（公告）號: CN110222556A
• 公開（公告）日: 2019-09-10
• 發明（設計）人: 葉青;鐘浩鑫;張永梅
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京科龍寰宇知識產權代理有限責任公司 11139
• 代理人: 孫皓晨

本發明提供了一種人體動作識別系統及方法，所述系統包括：視頻圖像采集模塊、圖像標準化模塊、深度殘差雙向多記憶神經網絡模塊、分類器模塊；視頻圖像采集模塊將對原始視頻圖像進行采樣處理，得到采樣后視頻圖像，并輸入給圖像標準化模塊進行標準化處理，得到標準化視頻圖像；標準化視頻圖像輸入深度殘差雙向多記憶神經網絡模塊進行處理；深度殘差雙向多記憶神經網絡模塊包括剪枝網絡單元、深度殘差雙向網絡單元；分類器模塊基于所述深度殘差雙向多記憶神經網絡模塊的輸出進行分類。本發明的技術方案很好地解決梯度消失問題，增強特征的耦合能力，極大地加速訓練，提高識別的準確率及運算速度。

技術領域

本發明涉及計算機視覺領域，特別是基于神經網絡的人體動作的視覺識別系統及方法。

背景技術

隨著信息社會的不斷發展，計算機視覺越來越受到各個領域的關注，而在計算機視覺領域中，視頻中的人體動作識別是一大重要的研究方向，通過對視頻中的人體動作進行識別，可以給智能視頻監控、虛擬現實、視頻安防和智能家居等領域帶來巨大的便利。計算機視覺領域主要研究計算機代替人工對多媒體的信息完成識別、檢測、加工等工作，視頻中的人體動作識別又是該領域中的一個重要的研究方向，人體動作的識別，對于智能家居、安全防護、虛擬現實等領域均起著十分重要的作用。此處以安全防護領域作為例子來進行說明。安全防護的范圍很廣，小到城市中的事故預警，大到邊界防護預警都是安全防護的范圍，通過將視頻中的人體動作識別應用到該領域，可以對事故的具體情況做出分析，也可以對邊界的可疑人員的動作進行判斷和預警，從而大大的提高了安全防護的效率并減少了人力物力的消耗，同時，鑒于計算機可以不用休息，工作的時間更長且不會疲憊，還能無死角的全方位進行監控來確保安全等特點，該研究領域給人們的生活帶來極大的便利，有著廣泛的應用前景。

傳統的人體動作識別方法是先進行運動目標檢測，再進行特征提取，最后將特征進行分類得到識別結果。傳統動作識別中常用的特征種類有：靜態特征、動態特征、時空特征和描述性特征。常見的動作識別方法分為三類：基于模板的方法、概率統計的方法、基于語法的方法。為了進一步提高算法的識別率，隨著深度學習方法的提出，基于深度網絡學習自動提取特征的方法應用到了人體動作識別中。然而現有的基于深度學習的人體動作識別方法中，傳統的AlexNet、VGG等網絡結構都是通過增大網絡的深度(層數)來獲得更好的訓練效果，但層數的增加會帶來很多負作用，比如過擬合、梯度消失、梯度爆炸等問題。

發明內容

針對現有技術的不足，本專利提出一種人體動作識別方法，基于深度殘差雙向多記憶神經網絡，該網絡通過移除不需要的網絡單元構成前端網絡模塊，再將得到的特征矩陣作為輸入送入由殘差結構改造的深度雙向網絡進行訓練，最后由分類器進行分類，得到人體動作識別結果。該網絡使用“端到端”的訓練技術，對神經網絡的參數及深度殘差網絡進行聯合優化，保證了新的神經網絡特征在新數據集上的表達能力，提升了整個系統的泛化性能。具體而言，本發明提供了以下的技術方案：

一方面，本發明提供了一種人體動作識別系統，所述系統包括：視頻圖像采集模塊、圖像標準化模塊、深度殘差雙向多記憶神經網絡模塊、分類器模塊；

所述視頻圖像采集模塊將對原始視頻圖像進行采樣處理，得到采樣后視頻圖像，并輸入給圖像標準化模塊進行標準化處理，得到標準化視頻圖像；

所述標準化視頻圖像輸入深度殘差雙向多記憶神經網絡模塊進行處理；

所述深度殘差雙向多記憶神經網絡模塊包括剪枝網絡單元、深度殘差雙向網絡單元；

所述剪枝網絡單元通過刪減方式處理卷積神經網絡，得到剪枝后的神經網絡，所述剪枝遵循以下原則：

如果|w|<α，則相應權重被去除，其中w為循環權重，α為敏感度參數；

所述深度殘差雙向網絡單元，通過深度殘差網絡結合雙向LSTM網絡實現，以快捷連接方式，減少參數之間相互依存關系，并將自身映射到疊加層與卷積層的輸出進行相加；