[發明專利]一種安防場景下融合注意力機制和時空圖卷積神經網絡的人體動作識別方法

有效

• 申請號: 201910373679.1
• 申請日: 2019-05-07
• 公開（公告）號: CN110119703B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 柯逍;柯力
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

本發明提出一種安防場景下融合注意力機制和時空圖卷積神經網絡的人體動作識別方法，首先對獲取的安防場景下的人體動作分析數據集進行隨機劃分，分為為訓練集和驗證集；其次對訓練集和驗證集視頻數據進行數據增強處理；接著對獲取的和增強的數據集利用注意力機制進行關鍵幀篩選；然后對篩選出來的關鍵幀視頻利用人體姿態估計模型框架進行轉碼和標注，為訓練人體動作檢測與識別模型做好準備；最后構建時空骨骼圖卷積神經網絡模型，并使用訓練集進行訓練并利用隨機梯度下降進行優化網絡參數權重，使用驗證集進行神經網絡模型的準確率預測。其不僅可以擴大原始動作數據量，還可以增強模型的魯棒性，進而提升最終的動作識別準確率。

技術領域

本發明涉及模式識別與計算機視覺領域，尤其涉及一種安防場景下融合注意力機制和時空圖卷積神經網絡的人體動作識別方法。

背景技術

視覺一直是人類獲取外界信息的最重要、最直觀的途徑，據有關統計，人類獲取信息的80％都是通過視覺。隨著攝像頭等圖像傳感器的質量不斷上升，同時價格的不斷下降，圖像傳感器得到大規模的部署和應用，每天都會因此產生海量的信息。單純地依靠眼睛去獲取所需要的信息已經不能滿足人們對與新信息、新知識的要求。另外，隨著計算機運算速度的提高、計算能力的進一步增強，以及圖像處理算法的不斷發展，計算機視覺技術應運而生。計算機視覺技術依托計算機或者其他嵌入式平臺，利用圖像處理、機器學習和深度學習等技術，對圖像進行特定目標檢測識別、圖像切割和圖像理解等處理，實現對圖像中的視覺信息自動分析和智能處理，提取我們所感興趣的信息。近年來，計算機視覺技術得到越來越多研究人員的青睞，是當前最活躍和最重要的一個方向。基于視頻的人體行為識別作為計算機視覺的一個熱門研究領域，旨在研究和理解視頻中人的行為動作，包括人的單體行為動作、人與人之間的交互行為、人與環境的交互關系等，自動識別視頻或者圖片序列中的行為動作。

人體行為識別方法主要分為傳統的機器學習和深度學習兩大類方法。傳統的機器學習主要算法流程為特征提取、特征編碼、行為分類這三個步驟。深度學習主要有雙流卷積網絡(Two-Stream Convolutional Networks)及其衍生網絡、3D卷積神經網絡(3DConvolutional Neural Networks，3D卷積)和長短期記憶網絡(Long-Short Term Memory，LSTM)等等。

當前安防場景下人體動作識別的困難之處包括：

(1)在安防場景下異常動作發生頻率很低、數據收集和標注困難等問題，即無論是常規動作還是異常動作都存在多樣且復雜的特點，進而導致類別內的多樣性較高。

(2)傳統的骨架建模方法通常依賴于手工制作的部件或遍歷規則，導致表達能力有限與難以推廣。

時間信息是視頻動作識別的關鍵因素，在視頻動作識別中，探索研究一種有效的運動表示方法是非常重要的。傳統如3DHOG、運動向量、密集軌跡等運動描述方法存在效率低下、準確率偏低等問題。

發明內容

針對上述問題，本發明提供一種安防場景下融合注意力機制和時空圖卷積神經網絡的人體動作識別方法，解決安防場景下異常動作發生頻率很低、數據收集和標注困難；傳統的骨架建模方法通常依賴于手工制作的部件或遍歷規則，導致表達能力有限與難以推廣；傳統如3DHOG、運動向量、密集軌跡等運動描述方法存在效率低下、準確率偏低等問題。

其首先對獲取的安防場景下的人體動作分析數據集進行隨機劃分，分為為訓練集和驗證集；其次對訓練集和驗證集視頻數據進行數據增強處理；接著對獲取的和增強的數據集利用注意力機制進行關鍵幀篩選；然后對篩選出來的關鍵幀視頻利用人體姿態估計模型框架進行轉碼和標注，為訓練人體動作檢測與識別模型做好準備；最后構建時空骨骼圖卷積神經網絡模型，并使用訓練集進行訓練并利用隨機梯度下降進行優化網絡參數權重，使用驗證集進行神經網絡模型的準確率預測。

本發明具體包括以下方案：