[發明專利]一種基于移位圖卷積神經網絡骨骼點行為識別系統及其識別方法

有效

• 申請號: 202010419839.4
• 申請日: 2020-05-18
• 公開（公告）號: CN111582220B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 張一帆;程科;程健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/74;G06V10/80;G06V10/82;G06N3/042;G06N3/0464
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張帆

本發明公開了一種基于移位圖卷積神經網絡骨骼點行為識別系統包括：圖像獲取模塊、圖像處理模塊、提取模塊和行為識別模塊，其中圖像獲取模塊用于獲取行為圖像；圖像處理模塊用于處理圖像獲取模塊獲取的行為圖像進行圖像處理；提取模塊用于提取圖像處理模塊處理后圖像的骨骼點；行為識別模塊用于識別提取模塊提取骨骼點行為特征的。本發明設計行為識別模塊進行對骨骼點行為識別，減小圖卷積計算量的新型圖卷積，與傳統圖卷積不同，移位圖卷積不是通過擴大卷積核來擴展感受范圍，而是通過新型移位操作來使得圖特征進行移位拼接，在顯著減少計算量提高計算速度的情況下達到同樣甚至更高的識別精度，避免傳統圖卷積的計算量會隨著卷積核增大而增大。

技術領域

本發明涉及一種基于移位圖卷積神經網絡骨骼點行為識別系統，涉及一般的圖像數據處理或產生G06T領域，尤其涉及G06T7/20的運動分析領域。

背景技術

在行為識別任務中，受制于數據量以及算法的制約，基于RGB圖像的行為識別模型常常會受到視角的變化以及復雜背景的干擾，從而導致泛化性能不足，在實際應用中魯棒性差。而基于骨骼點數據的行為識別可以較好地解決這個問題。

在骨骼點數據中，人體是由若干預先定義好的關鍵關節點在相機坐標系中的坐標來表示的。它可以很方便地通過深度攝像頭以及各種姿態估計算法獲得。

然在這種傳統的圖卷積方法中，其建模的卷積核只能覆蓋一個點的鄰域。但骨骼點行為識別任務中，一些行為（例如拍手動作）需要建模物理上相距較遠的點（例如兩只手）的位置關系。這就需要增加圖卷積模型的卷積核大小。但圖卷積的計算量又會隨著卷積核增大而增大，導致傳統圖卷積計算量較大。

發明內容

發明目的：提供一種基于移位圖卷積神經網絡骨骼點行為識別系統，以解決現有技術存在的上述問題。

技術方案：一種基于移位圖卷積神經網絡骨骼點行為識別系統，包括：

用于獲取行為圖像的圖像獲取模塊；

用于處理圖像獲取模塊獲取的行為圖像進行圖像處理的圖像處理模塊；

用于提取圖像處理模塊處理后圖像的骨骼點提取模塊；

用于識別提取模塊提取骨骼點行為特征的行為識別模塊。

在進一步的實施例中，所述圖像獲取模塊基于圖像獲取裝置，所述圖像獲取裝置包括呈等邊三角形放置的攝像器，以及設置在所述攝像器尾部的轉動裝置，所述轉動裝置包括與所述攝像器固定連接的轉動軸，套接所述轉動軸的轉動電機。

在進一步的實施例中，所述圖像獲取模塊通過三組呈等邊三角形放置的攝像器進行攝像人體行為，進而將三組攝像器獲取的行為圖像進行安裝前、后、側部進行分別呈現在電腦終端上，進而以供圖像處理模塊進行對比處理圖像。

在進一步的實施例中，所述圖像處理模塊主要進行對圖像獲取模塊獲取到的人體行為圖像進行處理為人體邊緣圖；通過Krisch邊緣檢測算子，在檢測圖像邊緣的時候使用卷積3*3模板，遍歷圖像中的像素點，逐一考察各個像素點周圍鄰近區域的像素灰度值，計算其中三個相鄰像素灰度的加權與其余五個像素的灰度加權和差值；卷積模板如下：

?????1??????????????2??????????????3??????????????4

?????5???????????????6??????????????7?????????????8

使用八個卷積模板，依次處理原圖像中的所有像素，計算得到其邊緣強度，再通過閥值進行檢測，提取最后邊緣點，完成邊緣檢測；

Krisch算子檢測圖像邊緣實現步驟如下：

步驟1、獲取原圖像的數據區指針；