[發明專利]一種基于時序引導空間注意力的暴力行為識別方法

有效

• 申請號: 202010224816.8
• 申請日: 2020-03-26
• 公開（公告）號: CN111414876B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 李凡;張斯瑾;賀麗君
• 申請（專利權）人: 西安交通大學;廣東順德西安交通大學研究院
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/62;G06V10/80;G06V10/82;G06K9/62;G06T7/254;G06N3/04
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 閔岳峰

本發明公開了一種基于時序引導空間注意力的暴力行為識別方法，該方法采用雙流參數共享的深度卷積網絡提取RGB圖像和幀差圖像特征，分別作為空間域和時間域信息的表征，并對雙流特征進行融合，提高了特征對于暴力行為的表征能力；在時序引導空間注意力模塊，采用ConvLSTM的隱含時序狀態引導空間注意力權值的策略，相較于傳統的自注意力，時序引導的空間注意力根據全局運動信息賦予空間權值，引導網絡關注運動區域，忽略背景信息的干擾，同時增大運動區域特征的比例可以減少目標較小時的漏檢。在公開數據集上的測試結果驗證了本發明對于暴力行為識別性能提升的有效性。

技術領域

本發明屬于行為識別領域，具體涉及一種基于時序引導空間注意力的暴力行為識別方法。

背景技術

暴力行為影響社會秩序，危害公共安全，及時識別并預警暴力行為，遏制暴力事件的事態發展對于公共安全具有重大意義。傳統人工監控的方式不僅耗費大量人力，而且極易出現因監視者注意力不集中造成的漏檢現象。近年來，基于深度學習識別行為的方法得到了廣泛的關注，也促使了暴力行為檢測算法性能的提高。

基于深度學習的暴力行為識別方法可分為三大類，一類是采用RGB和光流的雙流結構，需要事先提取并保存光流，而提取光流的過程會耗費大量的時間和空間資源，因此難以滿足實時性要求。第二類方法采用3D卷積網絡結構，雖然該類方法識別速度較快，但是因為3D卷積網絡參數量通常較大，對于硬件要求較高，難以應用于實際。第三類方法采用卷積長短時記憶網絡(ConvLSTM)結構，因為在時序上每幀共享ConvLSTM網絡參數，具有參數量較小的優點，但是仍然存在易受背景干擾的問題，尤其是當運動目標較小時，漏檢現象明顯。

在人眼視覺機制中存在注意力機制，即當人眼觀察一幅圖像時，會通過掃描全局圖像，獲得需要重點關注的目標區域，并對這一區域投入更多注意力資源，以獲取該區域更多的細節信息，抑制其他區域無用的信息。空間注意力機制受人眼視覺注意力的啟發，通過為部分區域賦予更高的權值，幫助網絡關注重要區域，忽略其他區域的干擾。注意力機制在圖像描述，機器翻譯及圖像識別等領域證明了其對減少背景干擾具有很好的效果。

發明內容

針對目前基于深度學習的暴力行為識別方法存在的問題，本發明提供了一種基于時序引導空間注意力的暴力行為識別方法。

本發明采用如下技術方案來實現：

一種基于時序引導空間注意力的暴力行為識別方法，包括以下步驟：

1)采用雙流特征提取及融合模塊對輸入的視頻圖像，使用雙流網絡模型分別提取RGB圖像和幀差圖像的深度特征，并對雙流特征進行融合，融合后的特征用于時序引導空間注意力模塊；

2)時序引導空間注意力模塊利用ConvLSTM輸出的時序特征來引導空間注意力，為特征圖分配不同的空間權重，使網絡更加關注運動的區域。

本發明進一步的改進在于，步驟1)中，雙流特征提取及融合模塊選取經過ImageNet數據集預訓練的VGG-16深度神經網絡，去掉最后的三層全連接層，僅保留前面的卷積層部分作為特征提取器，提取RGB圖像和幀差圖像的特征，分別作為空間域和時間域的表征，然后將RGB和幀差雙流的特征進行拼接融合，得到的融合特征輸入時序引導空間注意力模塊。

本發明進一步的改進在于，步驟2)中，時序引導空間注意力模塊，提出使用ConvLSTM的隱含時序狀態引導空間注意力權值的策略，采用了兩層ConvLSTM網絡層，將雙流融合后的特征和第二層ConvLSTM上一時刻的隱含時序狀態分別送入第一層ConvLSTM和空間注意力模塊，之后將空間注意力模塊輸出的空間權值與第一層ConvLSTM的特征圖進行點乘運算，為特征圖不同空間位置賦予不同的權重，通過時序特征的引導使網絡更加關注運動區域的特征，減少對運動目標的漏檢。

本發明進一步的改進在于，第一層ConvLSTM和空間注意力模塊分別采用式(1)-(5)和式(6)表示：