[發明專利]一種人體動作識別方法

在審

• 申請號: 202010746525.5
• 申請日: 2020-07-29
• 公開（公告）號: CN111860417A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉國良;李軍偉;張慶徽;田國會;劉甜甜
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙敏玲

本公開提供一種人體動作識別方法，涉及動作識別領域，獲取關節點的特征數據，并建立關節點集合距離特征、幾何特征和運動特征；從多個角度對動作序列的時空特征進行建模，采用一維時間卷積網絡對動作序列的時序信息進行建模；通過時空特征和時序信息，進行人體動作分類并識別通過設計多種特征表示，對同一幀中不同關節點的空間和幾何信息進行描述，對相鄰幀之間關節點的時間運動信息進行描述，更好的建模了人體運動的時空特性，同時使用一維時間卷積網絡對時序信息建模，結合構建的特征，進行人體動作分類，取得理想的分類識別效果。

技術領域

本公開涉及動作識別領域，特別涉及一種人體動作識別方法。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術，并不必然構成現有技術。

人體動作行為識別在老年人看護、理療康復、動漫游戲制作、安防監控、工廠人機協同等方面有著重要的應用價值。

發明人發現，目前使用深度圖和人體骨架數據來進行人體行為識別較多，但是仍存在一定的弊端，傳統的基于深度圖的人體行為建立多個視角的深度圖數據集，提取了大量特征，學習模型的計算復雜度迅速增加，導致實際應用時更加緩慢，另外，由于在不同動作時，所涉及的關節點的運動也各不相同，存在動態的變化，傳統的手動預定義關節點的遍歷順序較為困難，難以滿足快速遍歷并識別動作的需求。

發明內容

本公開的目的是針對現有技術存在的缺陷，提供一種人體動作識別方法，通過設計多種特征表示，對同一幀中不同關節點的空間和幾何信息進行描述，對相鄰幀之間關節點的時間運動信息進行描述，更好的建模了人體運動的時空特性，同時使用一維時間卷積網絡對時序信息建模，結合構建的特征，進行人體動作分類，取得理想的分類識別效果。

為了實現上述目的，采用以下技術方案：

一種人體動作識別方法，包括以下步驟：

獲取關節點的特征數據，并建立關節點集合距離特征、幾何特征和運動特征；

從多個角度對動作序列的時空特征進行建模，采用一維時間卷積網絡對動作序列的時序信息進行建模；

通過時空特征和時序信息，進行人體動作分類并識別。

進一步地，計算關節點兩兩之間的距離得到對稱矩陣，并減少冗余，作為關節點集合距離特征表示。

進一步地，減少冗余保留不包括對角線的下三角矩陣，將其中的元素展開形成一維矩陣作為特征表示。

進一步地，根據關節點、兩個關節點連接形成的線段、三個關節點所確定的平面，選擇多種類型的幾何特征，并去除重復、無效特征。

進一步地，所述幾何特征包括關節點朝向、點線距離、線線夾角、點面距離、線面夾角和面面夾角。

與現有技術相比，本公開具有的優點和積極效果是：

(1)通過設計關節點集合距離特征表示、幾何特征表示和運動特征表示，對同一幀中不同關節點的空間和幾何信息進行描述，對相鄰幀之間關節點的時間運動信息進行描述，更好的建模了人體運動的時空特性，同時使用一維時間卷積網絡對時序信息建模，結合構建的特征，進行人體動作分類，在基準動作分類數據集上進行了實驗，取得理想的分類識別效果；

(2)使用幾何特征、關節點集合距離特征、運動特征從多個角度對動作序列進行時空建模，使用改進的多個通道堆疊的一維時間卷積網絡，融合多個通道的特征進行動作識別；

(3)由于多數的神經網絡隱式假設輸入數據是局部相關的，直接處理局部不相關的關節特征是不合適的，通過每一幀對應的所有特征向量都被嵌入到隱向量空間，關節點遍歷順序通過嵌入過程自動學習得到，解決上述問題，同時嵌入過程能夠減輕數據噪聲的影響。

附圖說明