[發明專利]基于Bi-LSTM-Attention模型的人體行為識別方法

在審

• 申請號: 201910048015.8
• 申請日: 2019-01-18
• 公開（公告）號: CN109784280A
• 公開（公告）日: 2019-05-21
• 發明（設計）人: 盧先領;朱銘康;王駿
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 無錫市大為專利商標事務所(普通合伙) 32104
• 代理人: 曹祖良;屠志力

本發明提供一種基于Bi?LSTM?Attention模型的人體行為識別方法，包括以下步驟：步驟S1，將提取的視頻幀輸入InceptionV3模型，使用InceptionV3模型增加卷積神經網絡深度的同時減少網絡參數，充分提取視頻幀的深度特征，得到相關的特征向量；步驟S2，將步驟S1得到的特征向量傳入到Bi?LSTM神經網絡中進行處理，通過Bi?LSTM神經網絡充分學習視頻幀之間的時序特征；步驟S3，把步驟S2得到的時序特征向量傳入到注意力機制模型自適應地感知對識別結果有較大影響的網絡權重，使得這些網絡權重相關的特征能夠得到更多的關注。本發明能夠提高人體行為的識別率。

技術領域

本發明涉及視頻分析與識別領域，尤其是一種基于Bi-LSTM-Attention模型的人體行為識別方法。

背景技術

針對人體行為識別，早期大多數是使用人工設計的方法提取視頻特征。一種方案使用時空興趣點的方法提取復雜背景下的人體特征，該方法通過計算視頻序列中每個位置的強弱并通過極大值濾波的方法找到時空興趣點。WANG W等人使用稀疏編碼的方法學習靜態特征，并用基于最大池化的時域金字塔結構對特征進行直方圖表示，最后采用SVM進行分類。另一種方案提出了一種分層聚類多任務學習(HC-MTL)方法，通過目標函數加強共享行為關系和學習特定的行為特征來實現人體行為識別。基于人工特征提取的方法在行為識別方面取得了許多優異的成果，然而也存在一些難以解決的問題，人工設計的方法往往不能表達出動作的本質特征，而且由于動作的多樣性，往往很容易忽略一些重要的特征，對于行為識別有著較大的影響。

JI S等人首次提出了一種3D CNN算法，該方法通過對時間軸上的視頻幀運用3D卷積核來捕捉視頻的空間和時間信息用來識別人體行為。B.Mahasseni等人通過構造人體3維骨架，然后利用LSTM學習人體3維骨架的時序信息用來識別人體行為。Ullah A利用了CNN網絡提取視頻幀的深層特征，并通過雙向LSTM進行學習特征序列中的時序信息，最后通過softmax分類器進行分類。J.Donahue等人提出了一種長期循環卷積網絡，該網絡從2D CNN中提取特征并通過LSTM網絡來學習這些特征之間的順序關系。在行為識別中CNN和LSTM的使用極大的提高了識別的精度，并減少了工作量。但是CNN的深度對視頻幀的特征提取有著較大的影響：網絡層次低不易表現出圖像的深度特征，容易欠擬合；深層次的網絡模型容易產生梯度消散難以優化網絡模。LSTM無法有效地學習運動的時序特征，缺乏自主適應能力。

本文涉及的術語：

SVM：支持向量機；

3D CNN：3D卷積神經網絡；

LSTM：長短時記憶網絡。

Attention：注意力。

發明內容

本發明的目的在于克服現有技術中存在的不足，提供一種基于Bi-LSTM-Attention模型的人體行為識別方法，該方法可以學習特征序列中的時序信息，并通過注意力機制訓練網絡權重，達到更好的性能，減小識別誤差。

本發明采用的技術方案是：

一種基于Bi-LSTM-Attention模型的人體行為識別方法，包括以下步驟：

步驟S1，將提取的視頻幀輸入InceptionV3模型，使用InceptionV3模型增加卷積神經網絡深度的同時減少網絡參數，充分提取視頻幀的深度特征，得到相關的特征向量；

步驟S2，將步驟S1得到的特征向量傳入到Bi-LSTM神經網絡中進行處理，通過Bi-LSTM神經網絡充分學習視頻幀之間的時序特征；

步驟S3，把步驟S2得到的時序特征向量傳入到注意力機制模型自適應地感知對識別結果有較大影響的網絡權重，使得這些網絡權重相關的特征能夠得到更多的關注。