[發明專利]一種基于人體骨架形態與檢測目標的動作識別方法

有效

• 申請號: 202010894682.0
• 申請日: 2020-08-31
• 公開（公告）號: CN112001347B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 易軍;龐一然;汪彥;宋光磊;郭鑫;周偉;黃麟;王波;劉玉成;袁余民
• 申請（專利權）人: 重慶科技學院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/52;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 重慶蘊博君晟知識產權代理事務所(普通合伙) 50223
• 代理人: 韓慧芳

1.一種基于人體骨架形態與目標檢測的動作識別方法，其特征在于，包括：

步驟S1：構建圖像采集模塊采集需監控區域的視頻流，并進行視頻流預處理，將視頻流的比特率和幀率調整為契合所選深度學習模型的幀率，將分辨率做了如下設定：1920x1080分辨率的序列需要7000kbps的碼率，640x480分辨率的序列需要1900kbps的碼率，352x288分辨率的序列需要800kbps的碼率；

步驟S2：利用YOLOv4模型檢測出監控區域視頻流內的行人和物體種類，并記錄物體種類名稱，具體步驟如下：

S2.1：物體數據集的建立：對需檢測動作中所包含除人體以外的物體數據集進行收集分類；設定動作設為M，則和動作M相關的物體設為O_i^M依次排列，并將物體信息將其制作成標準VOC數據集；

S2.2：將上述步驟S2.1中制作好的物體VOC數據集輸入到標準的YOLOv4模型中進行訓練；YOLOv4模型中，運用了卷積的級聯結構，網絡的輸入層設計為448*448；在神經網絡中邏輯回歸的代價函數為：

其中h_θ是sigmoid函數，作為激活函數在網絡中；當物體檢測的準確率達到95％以上時，模型訓練完畢；

S2.3：使用上述步驟S2.2訓練好的YOLOv4模型對傳入的視頻流進行檢測，當檢測到步驟S2.1中物體時，將物體信息保存記錄；

步驟S3：通過OpenPose將視頻流內識別到的人體目標圖像進行人體骨架特征提取、正負樣本制作和訓練動作分類器模型；

步驟S4：訓練好的動作分類器模型對視頻流內的人體動作進行檢測，當識別到有設定檢測動作的時候，將設定動作信息M、動作置信度x⁽ⁱ⁾保存記錄，并與步驟S2.3記錄的物體信息進行關聯度匹配，得到物體權重W_j，最終輸出的動作置信度為：其中x⁽ⁱ⁾是OpenPose輸出的動作置信度，O_j是步驟S2.3里YOLOv4檢測出的第j個物體，w_j⁽ⁱ⁾是物體j所對應的權重；

步驟S5：決策警告，當檢測到所需檢測動作時，將信息發送至后臺管理。

2.根據權利要求1所述的一種基于人體骨架形態與目標檢測的動作識別方法，其主要特征在于步驟S3所述的人體骨架特征提取、正負樣本制作和訓練動作分類器模型方法，其具體步驟如下：

步驟S3.1：收集所需檢測動作的正負樣本數據集，并用OpenPose將正負樣本數據集的骨架特征信息提取出來；骨架特征通過前饋網絡預測出圖片中人體部位置信度S，同時預測出部位的親和力向量場L(人體骨骼各個關節的關系)，集合S＝(S1,S2,SJ)J表示每個骨骼關節點有J個身體部位置信圖；集合L(L1,L2,LC)每個肢體有C個部位親和力向量場，得到集合J和L后使用Greedyalgorithm算法將人體骨骼關節點信息找出；

步驟S3.2：使用步驟S3.1中制作的人體骨架特征數據集訓練基于卷積神經網絡的ResNet-56動作分類器模型，當正確識別率達到90％以上時，訓練結束。