[發明專利]基于特征映射和多層時間交互注意力的行為識別方法

有效

• 申請號: 202110086627.3
• 申請日: 2021-01-22
• 公開（公告）號: CN112766177B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 同鳴;金磊;董秋宇;邊放
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明公開了一種基于特征映射和多層時間交互注意力的行為識別方法，解決現有技術對時間動態信息建模不充分，忽略了不同幀之間的相互依賴關系，從而導致的對行為的識別能力不足的問題。本發明的實現步驟為：(1)生成訓練集；(2)獲取深度特征圖；(3)構建特征映射矩陣；(4)生成時間交互注意力矩陣；(5)生成時間交互注意力加權特征矩陣；(6)生成多層時間交互注意力加權特征矩陣；(7)獲取視頻的特征向量；(8)對視頻進行行為識別。由于本發明構建了特征映射矩陣，提出了多層時間交互注意力，使得本發明可以提高對視頻中的行為識別的準確率。

技術領域

本發明屬于視頻處理技術領域，更進一步涉及計算機視覺技術領域中的一種基于特征映射和多層時間交互注意力的行為識別方法。本發明可用于視頻中的人體行為識別。

背景技術

基于視頻的人體行為識別任務在計算機視覺領域中占有重要的地位，有著廣闊的應用前景，目前已被應用于無人駕駛、人機交互、視頻監控等領域。人體行為識別的目標是判斷一個視頻中人體行為的類別，本質是一個分類問題。近年來，隨著深度學習的發展，基于深度學習的行為識別方法被廣泛研究。

華南理工大學在其申請的專利文獻“基于時間注意力機制和LSTM的人體行為識別方法”(專利申請號：CN201910271178.2，申請公開號CN110135249A)中公開了一種人體行為識別方法。該方法的主要實現步驟是：1.獲取RGB單目視覺傳感器的視頻數據；2.提取2D骨架關節點數據；3.提取關節點聯合結構特征；4.構建LSTM長短期記憶網絡；5.在LSTM網絡中加入時間注意力機制；6.利用softmax分類器進行人體行為識別。該方法提出的時間注意力機制單獨地探索視頻中每一幀的重要程度，對重要的幀的特征賦予大的權重，但是，該方法仍然存在的不足之處是，忽略了視頻中不同幀之間的相互依賴關系，從而損失了部分全局信息，導致行為識別的錯誤。

Limin Wang等人在其發表的論文“Temporal segment networks for actionrecognition in videos”(IEEE transactions on pattern analysis and machineintelligence,2018,2740-2755)中公開了一種行為識別方法。該方法的主要實現步驟是：1.將視頻均勻分成7個視頻段；2.在每個視頻段中隨機采樣一幀RGB圖像，得到7幀RGB圖像；3.將獲取的每一幀RGB圖像輸入到卷積神經網絡中，得到每一幀RGB圖像的分類得分；4.利用段共識函數和預測函數結合7幀RGB圖像的分類得分，得到該視頻的行為識別的結果。該方法存在的不足之處是，對于較長的視頻，僅采樣7幀RGB圖像會導致視頻中信息的丟失，無法建模更完備的時間動態信息，進而導致行為識別準確率較低。

發明內容

本發明的目的在于針對上述已有技術的不足，提出了一種基于特征映射和多層時間交互注意力的行為識別方法，用于解決現有技術對時間動態信息建模不充分，忽略了不同幀之間的相互依賴關系，導致的行為識別能力差的問題。

為實現上述目的，本發明的思路是，構建特征映射矩陣，嵌入視頻中的時間和空間信息；通過探索視頻中不同幀之間的相互影響，得到時間交互注意力；使用多層的時間交互注意力挖掘視頻中復雜的時間動態信息。

為實現上述目的，本發明的實現的具體步驟如下：

(1)生成訓練集：

(1a)選取視頻數據集中包含N個行為類別的RGB視頻組成樣本集，每個類別包含至少100個視頻，每個視頻有一個確定的行為類別，其中N50；

(1b)對樣本集中的每個視頻進行預處理，以獲取該視頻對應的RGB圖像，將所有預處理后視頻的RGB圖像組成訓練集；

(2)生成深度特征圖：