[發明專利]一種基于視頻的人體行為識別方法

在審

• 申請號: 202110066504.3
• 申請日: 2021-01-19
• 公開（公告）號: CN112749671A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 任南琪;王愛杰;王旭;路璐;馮驍馳
• 申請（專利權）人: 瀾途集思生態科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246
• 代理公司: 北京市京師律師事務所 11665
• 代理人: 高曉麗

1.一種基于視頻的人體行為識別方法，其特征在于，包括如下步驟：

S1獲取或選擇包含深度和骨骼信息的人體行為視頻的數據集，選擇重要信息視頻片段作為輸入；

S2對數據預處理：將深度圖序列轉化為三維點云，僅保留重要部位附近點云；

S3對人體行為序列進行動作片段的劃分，將每個動作的重要部位三維點云每幀疊加得到運動軌跡；

S4對運動軌跡進行三維卷積神經網絡特征圖提取，得到時空特征圖，根據骨骼點位置信息生成對應的熱圖；

S5對時空特征圖與熱圖進行操作，得到所有骨骼點特征集合；

S6對每個骨骼點分別進行決策，得到局部決策集合；

S7將所有局部決策結果融合，得到最終的行為分類結果，建立識別模型；

S8根據識別模型，確定待識別人體行為的行為類別。

2.根據權利要求1所述的一種基于視頻的人體行為識別方法，其特征在于，所述深度圖中像素的xy坐標作為三維點的xy坐標，將代表深度數據的像素值作為三維點的z坐標，從而形成三維點云，三維點云也稱點云。

3.根據權利要求1所述的一種基于視頻的人體行為識別方法，其特征在于，所述重要部位附近點云，指以表示重要部位的一個或一組骨骼點為中心，取一適當大小的長方體，被該長方體包含的三維點云的集合即為該重要部位附近點云。

4.根據權利要求1所述的一種基于視頻的人體行為識別方法，其特征在于，所述步驟S1獲取或選擇包含深度和骨骼信息的人體行為視頻的數據集包括獲取對應的骨架點坐標、骨架點幀間坐標差和骨架特征。

5.根據權利要求4所述的一種基于視頻的人體行為識別方法，其特征在于，所述骨骼點坐標包括骨架的三維絕對坐標和中心點的相對坐標，所述骨架點幀間坐標差包括相鄰幀間坐標差和間隔幀間坐標差，所述骨架特征包括骨架長度和骨架旋轉角。

6.根據權利要求1所述的一種基于視頻的人體行為識別方法，其特征在于，所述步驟S1選擇重要信息視頻片段作為輸入包括提取單元，提取單元用于針對任一原始視頻，將原始視頻均分為T段，對每段使用三維卷積深度神經網絡進行特征提取，得到第t段視頻在深度神經網絡模型第i個卷積層的特征圖輸出表示f(t)，t＝1,2，…,T；第一計算模塊，用于計算各段視頻的特征圖平均值，得到視頻特征圖第二計算模塊，用于根據所述視頻特征圖計算所述原始視頻的空間特征圖fθ：其中，其中，θ是嵌入函數，表示特征嵌入空間。

7.根據權利要求1所述的一種基于視頻的人體行為識別方法，其特征在于，所述待識別人體包括注意力模塊和識別模塊。

8.根據權利要求7所述的一種基于視頻的人體行為識別方法，其特征在于，所述注意力模塊中包含圖卷積模塊和基于人體部位的注意力子模塊，識別模塊用于根據行為識別模型對待識別人體骨架進行識別，輸出人體行為動作。