[發明專利]一種行為識別方法及裝置

在審

• 申請號: 201910491344.X
• 申請日: 2019-06-06
• 公開（公告）號: CN110210430A
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 張俊三;王曉敏;王雷全;吳春雷;李克文
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種行為識別方法，其特征在于，預先設置至少兩個行為類別，包括：

將待識別視頻分為至少兩個視頻片段；

針對每個所述視頻片段，執行：提取當前視頻片段的關鍵幀、堆疊光流和連續幀靜態圖像；根據所述關鍵幀對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第一評分，根據所述堆疊光流對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第二評分，根據所述連續幀靜態圖像對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第三評分；

根據每個所述視頻片段的每個所述行為類別的第一評分，確定所述待識別視頻的每個所述行為類別的空間流評分；根據每個所述視頻片段的每個所述行為類別的第二評分，確定所述待識別視頻的每個所述行為類別的時間流評分；根據每個所述視頻片段的每個所述行為類別的第三評分，確定所述待識別視頻的每個所述行為類別的3D評分；

根據所述待識別視頻的每個所述行為類別的所述空間流評分、每個所述行為類別的所述時間流評分和每個所述行為類別的所述3D評分，生成所述待識別視頻的每個所述行為類別的最終評分。

2.根據權利要求1所述的方法，其特征在于，

進一步包括：

預先設置所述空間流評分的權重、所述時間流評分的權重和所述3D評分的權重；

所述根據所述待識別視頻的每個所述行為類別的所述空間流評分、每個所述行為類別的所述時間流評分和每個所述行為類別的所述3D評分，生成所述待識別視頻的每個所述行為類別的最終評分，包括：

針對每個所述行為類別，執行：根據當前行為類別的所述空間流評分、所述當前行為類別的時間流評分、所述當前行為類別的3D評分、所述空間流評分的權重、所述時間流評分的權重和所述3D評分的權重，利用公式四確定所述待識別視頻的所述當前行為類別的最終評分，其中，所述公式四為：

O＝aS+bT+cM；

其中，O為所述待識別視頻的所述當前行為類別的最終評分，S為所述當前行為類別的所述空間流評分，T為所述當前行為類別的時間流評分，M為所述當前行為類別的3D評分，a為所述空間流評分的權重，b為所述時間流評分的權重，c為所述3D評分的權重。

3.根據權利要求1所述的方法，其特征在于，

所述根據所述待識別視頻的每個所述行為類別的所述空間流評分、每個所述行為類別的所述時間流評分和每個所述行為類別的所述3D評分，生成所述待識別視頻的每個所述行為類別的最終評分，包括：

將所述待識別視頻的每個所述行為類別的所述空間流評分、每個所述行為類別的所述時間流評分和每個所述行為類別的所述3D評分輸入到訓練完成的線性SVM分類器中，利用所述線性SVM分類器確定所述待識別視頻的每個所述行為類別的最終評分；

其中，所述線性SVM分類器的核函數為：

k(a,a_i)＝((x·x_i)+1)^d，d為預設常數，d為正整數。

4.根據權利要求1-3中任一所述的方法，其特征在于，

所述根據所述關鍵幀對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第一評分，包括：

將所述當前視頻片段的所述關鍵幀輸入到訓練完成的2D卷積的空間流模型中，利用所述2D卷積的空間流模型對所述當前視頻片段的所述關鍵幀進行行為識別，確定所述當前視頻片段的每個所述行為類別的第一評分；

和/或，

所述根據所述堆疊光流對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第二評分，包括：

將所述當前視頻片段的所述堆疊光流輸入到訓練完成的2D卷積的時間流模型中，利用所述2D卷積的時間流模型對所述當前視頻片段的所述堆疊光流進行行為識別，確定所述當前視頻片段的每個所述行為類別的第二評分；

和/或，

所述根據所述連續幀靜態圖像對所述當前視頻片段進行行為識別，確定所述當前視頻片段的每個所述行為類別的第三評分，包括：

將所述當前視頻片段的所述連續幀靜態圖像輸入到訓練完成的3D卷積模型中，利用所述3D卷積模型對所述當前視頻片段的所述連續幀靜態圖像進行行為識別，確定所述當前視頻片段的每個所述行為類別的第三評分。