[發明專利]一種基于多路徑激勵的視頻人體行為識別方法及系統

在審

• 申請號: 202210505201.1
• 申請日: 2022-05-10
• 公開（公告）號: CN114821438A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 田智強;王晨宇;岳如靖;杜少毅
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

本發明公開了一種基于多路徑激勵的視頻人體行為識別方法及系統，通過將待識別視頻分段后根據各段提取圖像幀，然后采用預訓練模型對提取的圖像幀進行多路徑特征提取識別匹配，匹配度最高的行為動作即為該圖像幀的動作，將提取的圖像幀識別動作連接后即可得到待識別視頻中人體行為，本發明使用稀疏采樣的策略從原始視頻數據中抽取圖像幀，考慮了動作在全局時間中的變化，從整個視頻中抽樣進行識別，利用訓練獲取的行為識別模型可以直接用于視頻中的人體行為識別任務，提高識別的精度，覆蓋了整個視頻的空間外觀與隱性的時間信息。針對稀疏采樣策略忽視局部運動信息的問題，利用采樣幀前后兩幀的幀差生成局部運動信息補充到輸入中。

技術領域

本發明屬于行為識別技術領域，具體涉及一種基于多路徑激勵的視頻人體行為識別方法及系統。

背景技術

攝像頭捕獲的RGB圖片與視頻是生活中最常見的圖像格式。相比于骨骼數據專注人體關節與骨架的運動，RGB圖像中包含了豐富的外觀信息與背景信息，對人體運動的關注度較低。但精準的骨骼數據獲取難度較大，在當前實際的應用場景中難以獲取，所以直接基于RGB圖像的行為識別方法也是一個重要的研究領域。早期的手工特征提取方法效率低且復用性較差。使用深度學習的方法為了處理視頻數據提出了雙流結構與3D卷積模型，但3D卷積參數量大，對算力要求高，雙流結構的2D卷積又難以達到3D卷積的時空特征提取能力。直到TSM網絡提出了將shift操作引入2D卷積網絡的結構，使得2D卷積網絡達到了3D卷積的性能，RGB行為識別方法因此有了很大的進步，基于此結構可以進一步深入研究。

雖然TSM方法首次提出了僅使用2D卷積網絡進行時空特征提取的概念，但在行為識別的任務中還存在以下幾個問題：

第一點，在單幀圖像的角度上，傳統的2D卷積操作僅關注卷積核范圍內局部的特征聚合，距離較遠的像素之間難以直接產生聯系，須累積經過許多層后才能將整個圖像不同部分的區域關聯起來。而在視頻圖像中，部分人體行為的特征可能并不能在相鄰的像素間很好的體現，需要不同部分聯合判定。如簡單的走路與跑步動作，需要手臂與腿部的聯系共同判斷運動類別。在2D卷積網絡層數有限的情況下，難以快速的獲取全局信息會限制行為識別任務的精度。

第二點，在相鄰幀的運動角度，3D卷積可以直接對視頻進行特征提取，而使用2D卷積是對視頻中采樣的圖像幀進行特征提取。在之前的雙流行為識別方法中，有使用光流圖增強運動信息的輸入，也證明了運動信息對行為識別有很大的幫助。但光流計算成本高，在不引入更多輸入的情況下，2D卷積網絡需要有進一步的改進來增強與關注運動信息。

第三點，在整個視頻的長時間段落上，基于短片段采樣的網絡無法捕捉長期的時間結構。多幀稀疏采樣的策略在一定程度上提供了遠程建模的能力，但從遠處幀傳遞的消息也會經過大量局部操作的深層網絡被顯著削弱。很多人體行為動作會持續較長時間，且不同時間段的特征表現有較大的區別，如打網球等動作，人體在不同的時間段會表現出不同的姿態，且沒有明顯的時序規律。這要求網絡具有更強的遠程時域信息提取與建模能力。

發明內容

本發明的目的在于提供一種基于多路徑激勵的視頻人體行為識別方法及系統，以克服現有技術的不足。

一種基于多路徑激勵的視頻人體行為識別方法，包括以下步驟：

S1，將待識別視頻分段后根據各段提取圖像幀；

S2，采用預訓練模型對提取的圖像幀進行多路徑特征提取識別匹配，匹配度最高的行為動作即為該圖像幀的動作，將提取的圖像幀識別動作連接后即可得到待識別視頻中人體行為。

優選的，采用多路徑激勵方法對提取的圖像幀進行特征提取。

優選的，提取過程中，分別對圖像幀進行短時運動激勵，運動通道激勵與全局時空激勵；利用提取的特征進行網絡訓練同時進行預測，預測結果滿足設定訓練迭代次數或者達到設定匹配度，即可完成得到行為識別網絡模型，利用訓練好的行為識別網絡模型進行基于視頻的人體行為識別任務。