[發明專利]一種基于視頻的人體行為識別方法

在審

• 申請號: 202110066504.3
• 申請日: 2021-01-19
• 公開（公告）號: CN112749671A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 任南琪;王愛杰;王旭;路璐;馮驍馳
• 申請（專利權）人: 瀾途集思生態科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/246
• 代理公司: 北京市京師律師事務所 11665
• 代理人: 高曉麗

本發明公開了一種基于視頻的人體行為識別方法，包括如下步驟：獲取或選擇包含深度和骨骼信息的人體行為視頻的數據集，選擇重要信息視頻片段作為輸入；對數據預處理：將深度圖序列轉化為三維點云，僅保留重要部位附近點云；對人體行為序列進行動作片段的劃分，將每個動作的重要部位三維點云每幀疊加得到運動軌跡；對運動軌跡進行三維卷積神經網絡特征圖提取，得到時空特征圖，根據骨骼點位置信息生成對應的熱圖；對時空特征圖與熱圖進行操作，得到所有骨骼點特征集合。本發明可以充分利用局部的時空特征，充分考慮局部決策對識別效果的影響，從而有效提升了行為識別效果，同時，能夠提取的重要特征，對于人體行為識別具有較好的區分度。

技術領域

本發明涉及計算機視覺和模式識別技術領域，尤其涉及一種基于視頻的人體行為識別方法。

背景技術

人體行為識別作為計算機視覺中的一個基本問題，現在已經引起了業內的廣泛關注。隨著計算機智能技術的不斷發展，在今后的生活中，人體動作識別具有廣闊的應用前景。例如：智能監控、人機交互的體感游戲、視頻檢索等等。視頻中的人體行為識別與靜態圖像中的對象識別有著相似的問題，這兩項任務都必須處理顯著的類內變化、背景雜亂和遮擋。但是，視頻比圖像多了一項額外的時間線索。對于視頻時間線索的獲取是一大難點。卷積神經網絡(Convolutional Neural Network，CNN)應用于視頻數據的方法主要有兩種：一種是采用2D CNN結構，將基于圖像的模型直接應用于視頻的各個幀，但只能刻畫視頻的視覺外觀。另一種方式是3D CNN，這樣卷積核是三維的，可以同時提取空間和時間信息，但是網絡參數量會激增，造成過擬合。

發明內容

基于背景技術存在的技術問題，本發明提出了一種基于視頻的人體行為識別方法。

本發明提出的一種基于視頻的人體行為識別方法，包括如下步驟：

S1獲取或選擇包含深度和骨骼信息的人體行為視頻的數據集，選擇重要信息視頻片段作為輸入；

S2對數據預處理：將深度圖序列轉化為三維點云，僅保留重要部位附近點云；

S3對人體行為序列進行動作片段的劃分，將每個動作的重要部位三維點云每幀疊加得到運動軌跡；

S4對運動軌跡進行三維卷積神經網絡特征圖提取，得到時空特征圖，根據骨骼點位置信息生成對應的熱圖；

S5對時空特征圖與熱圖進行操作，得到所有骨骼點特征集合；

S6對每個骨骼點分別進行決策，得到局部決策集合；

S7將所有局部決策結果融合，得到最終的行為分類結果，建立識別模型；

S8根據識別模型，確定待識別人體行為的行為類別。

優選的，所述深度圖中像素的xy坐標作為三維點的xy坐標，將代表深度數據的像素值作為三維點的z坐標，從而形成三維點云，三維點云也稱點云。

優選的，所述重要部位附近點云，指以表示重要部位的一個或一組骨骼點為中心，取一適當大小的長方體，被該長方體包含的三維點云的集合即為該重要部位附近點云。

優選的，所述步驟S1獲取或選擇包含深度和骨骼信息的人體行為視頻的數據集包括獲取對應的骨架點坐標、骨架點幀間坐標差和骨架特征。

優選的，所述骨骼點坐標包括骨架的三維絕對坐標和中心點的相對坐標，所述骨架點幀間坐標差包括相鄰幀間坐標差和間隔幀間坐標差，所述骨架特征包括骨架長度和骨架旋轉角。