[發明專利]一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統

在審

• 申請號: 202110242365.5
• 申請日: 2021-03-03
• 公開（公告）號: CN112906604A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 黃煒;顏天信
• 申請（專利權）人: 安徽省科億信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T17/00
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 趙娟

本發明公開了一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統，該方法包括利用RGB相機獲取人體動作的RGB視頻和深度相機獲取深度圖像和3D骨骼數據，建立行為識別數據集；將行為識別數據集進行預處理；利用時空圖卷積神經網絡ST?GCN提取骨骼數據特征，利用輕量級GhostNet提取RGB幀數據特征；搭建骨骼和RGB幀在特征層面交互的網絡；用訓練集訓練網絡，優化參數，得到基于骨骼和RGB幀融合的行為識別網絡；將所要識別的人體動作信息輸入到行為識別網絡進行預測，輸出對應的動作類別。本發明提供了一種基于骨骼和RGB幀融合的行為識別方法，能夠充分挖掘骨骼和RGB幀的互補信息，以一種輕量化的方式進一步提高了動作識別的準確率。

技術領域

本發明涉及計算機視覺領域，尤其涉及是一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統。

背景技術

除了語音之外，人們很多時候是通過動作來傳遞信息的，比如交警使用手勢指揮交通，人們使用特定的動作傳遞情感(揮手表達再見，搖頭表示反對，比心表達愛意等)。因此，人體的動作對于理解人類的活動有著重要的作用。人體動作識別在計算機視覺領域一直是一個熱門且具有挑戰性的研究方向，它指的是輸入一段分割好的視頻，最后輸出這段視頻對應的動作類別，即是一個視頻分類的任務。它有很多實際的應用，比如在智能安防領域，識別出打架斗毆行為然后報警，識別出有人在公共場所抽煙然后做出報警等。在老年健康呵護領域，識別出老人摔倒然后做出報警等。在人機交互領域，可以用手勢隔空操縱電子產品等。因此，在計算機視覺領域，快速有效準確的識別人體動作顯得尤為重要。

目前記錄人體動作的常用傳感器有RGB相機、深度相機和慣性傳感器(比如加速度計和陀螺儀)等。從RGB相機我們能獲取RGB視頻；從深度相機我們能獲取深度和骨架視頻；從慣性傳感器我們能獲取加速度和角速度曲線。RGB、深度和骨架可以歸為視覺數據。加速度和角速度可以歸為非視覺數據。根據輸入模態的種類人體動作識別方法可以分為基于單模態的方法和基于多模態的方法。

然而，基于RGB的人體動作識別在背景復雜和光照變化劇烈的條件下表現得很差。基于深度的人體動作識別比較容易受視角的影響。基于骨架的人體動作識別容易混淆運動模式相似的動作。基于慣性數據的人體動作識別往往要求人們佩戴可穿戴設備，另外它也不能很好區分運動模式相似的行為。由于每種模態都有各自的局限性，所以基于單模態的方法在復雜的實際場景中往往是受限的。

發明內容

針對現有的人體動作識別存在的技術問題，本發明提出的一種基于骨骼和RGB幀融合的行為識別方法、裝置及系統具有較好的魯棒性，能夠降低延時同時具有更好的識別性能，并且具有能夠進一步提高動作識別的準確率的優點。

第一方面，本發明保護一種基于骨骼和RGB幀融合的行為識別方法，該方法包括：

利用RGB相機獲取人體動作的RGB視頻和深度相機獲取深度圖像和3D骨骼數據，建立行為識別數據集；

將行為識別數據集進行預處理；

利用時空圖卷積神經網絡(ST-GCN)提取骨骼數據特征，利用輕量級GhostNet提取RGB幀數據特征；

搭建骨骼和RGB幀在特征層面交互的網絡；

用訓練集訓練網絡，優化參數，得到基于骨骼和RGB幀融合的行為識別網絡；其中，訓練集為事先采集用于訓練的樣本集合，主要用來訓練神經網絡中的參數；

將所要識別的人體動作信息輸入到行為識別網絡進行預測，輸出對應的動作類別。

進一步地，所述預處理方法可以是：對于輸入的骨骼數據，把每個關節點與中心點的坐標相減，用前面的幀填補使得所有樣本的幀數和視頻最長的幀數對齊，把脊柱與Z軸對齊，把肩膀和X軸對齊；對輸入的RGB視頻，以第一幀作為參考幀，然后通過計算所有幀與參考幀的幀坐標差，挑出其中差值最大的那幀作為代表該視頻的RGB幀，然后利用深度相機提供的在圖像上的人體坐標，把人體從RGB幀上裁剪出來。