[發明專利]一種基于骨骼關鍵點檢測的人體動作識別方法

在審

• 申請號: 202010614639.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111914643A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 羅作民;郭洪博;丁翠
• 申請（專利權）人: 西安理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 韓玙

本發明公開了一種基于骨骼關鍵點檢測的人體動作識別方法，包括：獲取計算機視覺系統的每個標準動作的多個視頻段，對每個視頻段進行數據預處理；采用關鍵點檢測網絡對數據預處理后的視頻段的每幀圖像進行關鍵點信息提取，形成該視頻段的多個關鍵特征向量；根據每個視頻段的多個關鍵特征向量建立每個視頻段對應的預先動作識別模型；對實時人體運動視頻使用關鍵點檢測網絡提取實時關鍵點信息，生成實時關鍵特征向量；采用人體運動識別算法對人體動作進行識別；本發明方法識別精度高，使用加權的K?近鄰算法對人體動作進行識別，通過賦予每個距離點不同的權重獲取更加均衡、抗躁能力更強的關鍵特征向量，使得最終識別結果更加準確。

技術領域

本發明屬于動作識別技術領域，具體涉及一種基于骨骼關鍵點檢測的人體動作識別方法。

背景技術

人體動作識別一直是計算機視覺、人工智能和模式識別等熱門研究方向，在人機交互、虛擬現實、視頻檢索和安防監控等領域中有著十分廣泛的應用。現有的人體動作識別方法主要包括基于可穿戴慣性傳感器的人體動作識別方法和基于計算機視覺的人體動作識別方法兩種。基于可穿戴傳感器的人體動作識別方法，通過固定在人體特定部位的傳感器采集人體的動作信息，并通過無線傳輸模塊傳送到計算機，進而對數據進行預處理、特征提取和選擇、動作分類。該方法采集數據信息比較準確但是增加了人體負擔且操作復雜，實際推廣困難；目前主流的研究方向是基于計算機視覺的人體動作識別方法，通過計算機對攝像機采集的原始圖像或圖像序列數據進行處理和分析，學習并理解其中人的動作和行為。

隨著深度相機及人體骨架提取算法的發展，人們可以便捷地獲取人體骨骼關節點信息。由于人體可以被視為剛性骨骼關節點之間相互連接構建的系統，基于人體骨骼關節點的動作識別相較于基于圖像的動作識別有著顯著的優越性。

發明內容

本發明的目的是提供一種基于骨骼關鍵點檢測的人體動作識別方法，以解決現有的人體動作的識別方法操作困難，移植性差的問題。

本發明所采用的技術方案是，一種基于骨骼關鍵點檢測的人體動作識別方法，具體按照以下步驟實施：

步驟1、獲取計算機視覺系統的每個標準動作的多個視頻段，對每個視頻段進行數據預處理；

步驟2、采用關鍵點檢測網絡對數據預處理后的視頻段的每幀圖像進行關鍵點信息提取，形成該視頻段的多個關鍵特征向量；

步驟3、根據每個視頻段的多個關鍵特征向量建立每個視頻段對應的預先動作識別模型；

步驟4、對實時人體運動視頻使用關鍵點檢測網絡提取實時關鍵點信息，生成實時關鍵特征向量；

步驟5、采用人體運動識別算法對人體動作進行識別。

本發明的特點還在于：

對視頻段進行數據預處理具體過程為：當每個動作視頻段的幀數大于或小于某一固定值，采用均勻抽幀或者運動補償插幀的方式將視頻段幀數統一。

步驟2具體過程為：基于CenterNet網絡和堆疊Hourglass沙漏網絡的多特征融合算法對數據預處理后的視頻的每幀圖像進行關鍵點信息提取，將每幀圖像的關鍵點信息生成一組關鍵特征向量，形成該視頻段的多個關鍵特征向量。

將每幀圖像的關鍵點信息生成一組關鍵特征向量具體過程為：

每幀圖像有n個關鍵點，將上述n個關鍵點坐標組成一個n行2列的矩陣，然后使用公式(λE-A)x＝0，求解出上述矩陣的特征值，再帶入上述公式中求解該矩陣對應的特征向量，即為一組關鍵特征向量。

步驟3的具體步驟為：

步驟3.1、對每個視頻段的多個關鍵特征向量采用加權平均方法計算該視頻段的均值特征向量作為該動作的識別模型；