[發明專利]一種基于全時空卷積模塊的暴力視頻檢測算法

在審

• 申請號: 202011619964.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112668495A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 譚振華;王鵬飛;夏禎徹;毛克明;張斌
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君泊知識產權代理有限公司 11496
• 代理人: 李丹

本發明公開了一種基于全時空卷積模塊的暴力視頻檢測算法，基于全時空卷積模塊的暴力視頻檢測算法實現了時序特征在局部空間和全時序的特征融合，能夠有效地提取了暴力視頻的局部空間和全時序特征，有效提高了檢測的準確度和模型的泛化能力，該方法相比于以往的2DCNN+LSTM和基于3DCNN的相關算法在暴力視頻檢測領域具有更大的優勢。本發明中的全時空卷積模塊可以被應用在其他的網絡架構中，充分利用其時間空間的特征融合能力來達到更好的視頻行為分類效果。

技術領域

本發明涉及深度學習和暴力視頻檢測技術領域，具體為一種基于全時空卷積模塊的暴力視頻檢測算法。

背景技術

隨著公共場所監控的普及，公共場所的暴力案件在不斷減少。但是，傳統方法需要人工方法對大量的監控畫面進行識別和分類，這樣做耗時耗力，且往往對公共場所暴力案件的處理具有滯后性，不能夠及時作出響應。因此，暴力行為的監控和預警對于公共安全十分重要，尤其對于機場、火車站以及十字路口等人流密集區域。

針對暴力視頻檢測的技術方法主要分為2類。第一類，通過2D卷積核提取了視頻幀的完整的全局空間特征之后，再使用長短期記憶(Long short-term memory)網絡將全局的空間特征在時間維度上進行融合，進而達到視頻內容暴力還是非暴力的判別目的。該方法，將全局的空間特征提取之后，進行時間維度的融合是不合理的，因為，有些情況下，視頻中的暴力行為具有局部時序性，例如，在視頻中，施暴者的出拳動作，只是手臂部分在時間維度上的局部空間變化。而這類方法卻忽略了這一點。第二類，將2D卷積核和2D池化層拓展到3D卷積核和3D池化層。使用基于3D卷積核的深度神經網絡架構來對視頻內容進行判別，但是該方式在暴力視頻檢測中是存在一定的缺陷的，首先3D卷積核考慮了局部特征在時間維度上的特征融合，并且在時間維度上的卷積核尺寸為3，遠小于輸入的視頻時序幀的數量(一般為10-64幀不等)，所以針對短時間內人物肢體具有快速形變程度的暴力動作而言顯然是不合理的，因為沒有充分的利用輸入視頻幀的全部時間維度信息。

針對上述問題，本發明提供了一種基于全時空卷積模塊的暴力視頻檢測算法。

發明內容

本發明的目的在于提供一種基于全時空卷積模塊的暴力視頻檢測算法，從而解決了背景技術中的問題。

為實現上述目的，本發明提供如下技術方案：一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于，包括以下步驟：

S01：選取目標視頻中隨機起點；

S02：使用基于ImageNet預訓練的Xception的子網絡作為圖像空間特征的高級語義的提取器；

S03：使用全時空卷積模塊融合特征圖在局部空間和全部時間維度上的信息；

S04：將S03中的全時空卷積模塊搭配3D池化層重復多次連接在深度神經網絡架構中，融合不同尺度的時序特征圖的全時空特征；

S05：將具有全時空特征信息的特征圖輸入進分類器中，最終輸出結果有兩個類別，分別表示輸入的連續視頻幀中是否存在暴力行為。

進一步地，步驟S01中，隨機起點選取后每間隔1幀選取1幀視頻幀，共計選取15幀，這連續的15幀視頻將作為輸入。

進一步地，步驟S02中，Xception子網絡為特征提取網絡，該子網絡的截斷層為“add_3”，原始視頻幀通過Xception子網絡進行前向傳播，到達截斷層之后生成特征圖。

進一步地，步驟S03中，全時空卷積模塊有兩個通路，左側通路表示提取連續視頻幀的空間信息，右側通路表示提取連續視頻幀的全時序特征，最后將局部空間和全時序特征進行疊加，生成具有局部空間和全時序的融合特征。

進一步地，全時空卷積模塊流程包括以下步驟：