[發明專利]一種基于深度學習和姿態估計的監控中人體動作識別方法

有效

• 申請號: 201910513337.5
• 申請日: 2019-06-14
• 公開（公告）號: CN110222665B
• 公開（公告）日: 2023-02-24
• 發明（設計）人: 秦臻;張揚;丁熠;秦志光
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/52;G06V10/764;G06V10/82
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 韋海英

本發明公開了一種基于深度學習和姿態估計的監控中人體動作識別方法，包括構建基于相對部位關節特征表示的多流動作識別模型；對人體骨骼動作數據進行預處理和相對部位關節特征表示的轉換；將轉換后的相對部位關節特征表示輸入多流動作識別模型中進行模型的訓練和評估，選取多輪迭代后收斂識別率最高的最優模型；獲取監控視頻實時場景下的監控片段，采用姿態估計算法得到監控片段中人體的骨骼動作序列，并其進行預處理；對預處理后的骨骼動作序列進行特征表示轉換；使用所述最優模型識別預處理和特征表示轉換后的骨骼動作序列中的人體動作，得到動作分類結果；將識別的分類結果與預設危險動作類別進行對比，并返回對比結果給監控工作人員。

技術領域

本發明屬于計算機圖像處理和動作識別的技術領域，具體涉及一種基于深度學習和姿態估計的監控中人體動作識別方法。

背景技術

隨著“平安城市”計劃的推進和監控攝像頭成本的下降，監控攝像頭布滿了大街小巷，實時監控公共場景，為公共安全提供了保障，但由此產生了大量的監控視頻數據，現有的大多數監控攝像由人工實時監控，多個監控畫面集中到同一監控室，然后由人工實時監控畫面判斷是否有危險行為的發生，這種原始的監控方式費時費力，效率不高。

使用計算機自動識別監控視頻中對象的動作，從而對危險行為發出預警，是一種更為高效的監控方法；以往的人體動作識別都是直接基于視頻的，計算機在根據監控視頻自動識別人體動作時，容易受到場景光照、鏡頭分辨率和拍攝視角的影響，導致識別準確率的降低。基于視頻的姿態估計能夠將視頻幀中的人體對象使用有限的關節點描述出來，視頻數據被轉換為描述人體主要關節點移動的骨骼運動序列，這種數據能夠更簡潔清晰地描述出人體的動作變化，而且減少了背景等噪聲的干擾。現有的基于深度學習的姿態估計算法已能夠實現實時地估計出場景中多個對象(人)的骨骼，具有較高的可信度。

在基于深度學習的方法中，大多是端到端(end-to-end)的模型，即輸入到輸出的模式，在這個過程中，模型自動完成運動特征的提取和特征到類別標簽的映射，省去了傳統機器學習中特征設計的復雜工序。在大多的深度學習方法中，使用RNN，CNN兩種常用神經網絡來提取運動特征，或混合兩種網絡，使用RNN網絡或其特殊形式(LSTM、GRU等)來獲取動作的時間依賴性，使用CNN來獲取動作關鍵部位的空間分布特征。監控中的人體動作識別通過監控視頻接口不斷獲取實時的監控片段，輸入到動作識別模型中，識別出視頻片段中的動作類別，返回結果與設定的危險行為或動作進行比對，達到自動監控的目的。這種監控方式具有效率高、漏檢低、覆蓋全的特點。

發明內容

本發明的目的在于針對現有技術中的上述不足，提供一種基于深度學習和姿態估計的監控中人體動作識別方法，以解決原始的監控方式費時費力、效率不高的問題。

為達到上述目的，本發明采取的技術方案是：

一種基于深度學習和姿態估計的監控中人體動作識別方法，其包括：

S1、構建基于相對部位關節特征表示的多流動作識別模型；

S2、對人體骨骼動作數據進行預處理和相對部位關節特征表示的轉換；

S3、將轉換后的所述相對部位關節特征表示輸入多流動作識別模型中進行模型的訓練和評估，選取多輪迭代后收斂識別率最高的最優模型；

S4、獲取監控視頻實時場景下的監控片段，采用姿態估計算法得到監控片段中人體的骨骼動作序列，并對骨骼動作序列進行預處理；

S5、對預處理后的骨骼動作序列進行特征表示轉換；

S6、使用所述最優模型識別預處理和特征表示轉換后的骨骼動作序列中的人體動作，得到動作分類結果；

S7、將識別的分類結果與預設危險動作類別進行對比，并返回對比結果給監控工作人員。

優選地，步驟S1構建多流動作識別模型的方法為：