[發明專利]一種基于移位圖卷積神經網絡骨骼點行為識別系統及其識別方法

有效

• 申請號: 202010419839.4
• 申請日: 2020-05-18
• 公開（公告）號: CN111582220B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 張一帆;程科;程健
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/74;G06V10/80;G06V10/82;G06N3/042;G06N3/0464
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張帆

1.一種基于移位圖卷積神經網絡骨骼點行為識別系統，其特征是，包括：

用于識別提取模塊提取骨骼點行為特征的行為識別模塊；

所述行為識別模塊主要用于進行識別提取骨骼點行為特征，根據圖的鄰接關系將鄰接的行為特征進行移位拼接，拼接之后只需進行一次1*1的卷積即可得到計算后的行為特征，對于一個N個節點圖來講，設特征維度為C，特征大小為[N,C]，其中節點v的有個n個節點與之相鄰，其鄰接節點構成的集合為對于第v個節點，移位圖模塊將其特征均分為n+1份，第一份保持其自身特征，后面n份從其鄰居節點特征移位，數學表達如下：

其中，中的下標V表示Python的標記，‖…‖雙豎線表示特征維度進行特征拼接；

還包括用于獲取行為圖像的圖像獲取模塊；

所述圖像獲取模塊基于圖像獲取裝置，所述圖像獲取裝置包括呈等邊三角形放置的攝像器，以及設置在所述攝像器尾部的轉動裝置，所述轉動裝置包括與所述攝像器固定連接的轉動軸，套接所述轉動軸的轉動電機；

還包括用于處理圖像獲取模塊獲取的行為圖像進行圖像處理的圖像處理模塊；

所述圖像處理模塊主要進行對圖像獲取模塊獲取到的人體行為圖像進行處理為人體邊緣圖；通過Krisch邊緣檢測算子，在檢測圖像邊緣的時候使用3*3卷積模板，遍歷圖像中的像素點，逐一考察各個像素點周圍鄰近區域的像素灰度值，計算其中三個相鄰像素灰度的加權與其余五個像素的灰度加權和差值；

還包括用于提取圖像處理模塊處理后圖像的骨骼點提取模塊；所述提取模塊用于提取圖像處理模塊處理后圖像的骨骼點提取，當圖像處理模塊處理圖像獲取模塊獲取的圖像完成后，此時人體邊緣圖上將按照最接近獲取圖像行為人體型進行匹配預先錄入的骨骼點位置，進而將匹配后的骨骼點進行顯示在人體邊緣圖上。

2.根據權利要求1所述的一種基于移位圖卷積神經網絡骨骼點行為識別系統，其特征是：所述圖像獲取模塊通過三組呈等邊三角形放置的攝像器進行攝像人體行為，進而將三組攝像器獲取的行為圖像進行安裝前、后、側部進行分別呈現在電腦終端上，進而以供圖像處理模塊進行對比處理圖像。

3.根據權利要求1所述的一種基于移位圖卷積神經網絡骨骼點行為識別系統，其特征是：卷積模板如下：

使用八個卷積模板，依次處理原圖像中的所有像素，計算得到其邊緣強度，再通過閾值進行檢測，提取最后邊緣點，完成邊緣檢測；

Krisch算子檢測圖像邊緣實現步驟如下：

步驟1、獲取原圖像的數據區指針；

步驟2、建立兩個緩沖區，緩沖區大小與原圖形相同，緩沖區主要用于存儲原圖像及原圖形副本，將兩個緩沖區初始化為原圖像副本，分別標記為圖像1和圖像2；

步驟3、在每個緩沖區域中單獨設置一個用于卷積操作的Krisch模板，然后在兩個區域中分別遍歷副本圖像中的像素，逐一進行卷積操作，計算結果，對比將計算得出的較值存到圖像1中，再將圖像1復制到緩存圖像2中；

步驟4、重復步驟3，一次設置剩余的六個模板，并進行計算處理，最后得出圖像1與圖像2中較大灰度值存放在緩沖圖像1中；

步驟5、將處理后的圖像1復制到原圖像數據中，在進行編程實現圖像的邊緣處理。