[發明專利]一種基于姿態編碼的動作識別方法及裝置

在審

• 申請號: 202110156920.2
• 申請日: 2021-02-04
• 公開（公告）號: CN112906520A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 鄧小明;張維;林澤一;柯銘雨;馬翠霞;王宏安
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N20/10;G06T9/00
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種基于姿態編碼的動作識別方法及裝置，包括：提取檢測物的姿態，將所述姿態編碼成圖像；獲取兩兩關節在不同時間步長組成不同時間維度上的編碼圖像序列，得到若干編碼圖像序列，并依據若干所述編碼圖像序列，構建編碼圖片金字塔，提取編碼圖片金字塔中每一編碼圖像序列的特征；依據編碼圖像序列的特征對所述姿態進行分類，得到檢測物姿態的動作識別結果。本發明的圖像編碼方法具有在三維相似變換下具有不變性的優點，通過對編碼圖像進行時空特征的提取，可獲取精度高、實時性好的動作識別結果。

技術領域

本發明屬于計算機視覺、計算機圖像處理領域，具體涉及到一種基于姿態編碼的動作識別方法及裝置，適用于人體整體或局部(如人手、人臉)、動物、機器人等對象。

背景技術

人體動作識別是計算機視覺和人機交互領域的熱點問題，在虛擬現實，智能控制和終端設備上具有廣泛的應用。人體動作識別是從動作視頻中識別出視頻中動作者所做出的動作類別。人體動作識別分為基于RGB圖像的動作識別和基于人體姿態的動作識別，其中，基于人體姿態的動作識別能夠剔除背景信息的影響，使得識別算法更注重動作而不是場景分類，從而開發出更好的動作分類方法。

目前基于人體姿態的動作識別方法可以分為傳統機器學習方法和深度學習方法兩種。傳統機器學習方法主要有動態時序規整(DTW)，隱馬爾科夫模型(HMM)，條件隨機場(CRF)和隨機森林(RF)方法。深度學習方法主要可以分為三種：基于長短時記憶網絡(LSTM)架構、基于卷積神經網絡(CNN)架構和基于圖卷積神經網絡(GCN)架構的方法。

基于LSTM的方法直接將人體姿態坐標輸入到LSTM網絡中提取時間信息。這種方法通常較少關注到人體姿態的空間信息，而這種信息在動作識別中是十分重要的。基于GCN的方法則是利用首先將人體姿態構造成時空圖(Graph)，然后利用圖卷積神經網絡提取時空特征?；贕CN架構的方法都可以很好的建模人體姿態的空間信息，例如中國專利申請CN110059598A公開了一種基于姿態關節點的長時程快慢網絡融合的行為識別方法，其利用圖卷積網絡捕捉空間和時序內關節點結構特征和軌跡特征，通過特征拼接網絡模型生成每個視頻片段的整體時空特征，但該申請將所有的關節點一視同仁，不能很好的建模不同位置關節之間的連接強度。而中國專利申請CN110688980A公開的基于計算機視覺的人體姿態分類方法，利用關節的角度、坐標信息計算出高階特征進行分析，但該申請使用關節角度和坐標信息進行姿態分類，不能復用目前成熟的圖像或視頻深度學習網絡結構和預訓練模型，并且只能處理靜態單個姿態輸入的動作識別。

綜上所述，如何同時提取人體姿態序列中的時間信息與空間信息，是現在基于人體姿態的動作識別問題中的關鍵。

發明內容

為解決上述問題，本發明提供了一種基于姿態編碼的動作識別方法及裝置，通過將骨架姿態編碼為圖像，利用現有的CNN網絡架構進行姿態特征提取和識別，對于姿態序列輸入，使用三維神經網絡(3D CNN)同時提取時空特征，得到動作識別結果。

本發明的技術方案包括：

一種基于姿態編碼的動作識別方法，其步驟包括：

1)提取檢測物的姿態，將所述姿態編碼成圖像；

2)獲取兩兩關節在不同時間步長組成不同時間維度上的編碼圖像序列，得到若干編碼圖像序列，并依據若干所述編碼圖像序列，構建編碼圖片金字塔，提取編碼圖片金字塔中每一編碼圖像序列的特征；

4)依據編碼圖像序列的特征對所述姿態進行分類，得到檢測物姿態的動作識別結果。

進一步地，檢測物包括人體整體、人體局部、動物或機器人等。

進一步地，人體局部包括人體上肢、人體下肢、人手或人臉等。