[發明專利]一種基于全時空卷積模塊的暴力視頻檢測算法

在審

• 申請號: 202011619964.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112668495A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 譚振華;王鵬飛;夏禎徹;毛克明;張斌
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京君泊知識產權代理有限公司 11496
• 代理人: 李丹

1.一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于，包括以下步驟：

S01：選取目標視頻中隨機起點；

S02：使用基于ImageNet預訓練的Xception的子網絡作為圖像空間特征的高級語義的提取器；

S03：使用全時空卷積模塊融合特征圖在局部空間和全部時間維度上的信息；

S04：將S03中的全時空卷積模塊搭配3D池化層重復多次連接在深度神經網絡架構中，融合不同尺度的時序特征圖的全時空特征；

S05：將具有全時空特征信息的特征圖輸入進分類器中，最終輸出結果有兩個類別，分別表示輸入的連續視頻幀中是否存在暴力行為。

2.根據權利要求1所述的一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于：所述步驟S01中，隨機起點選取后每間隔1幀選取1幀視頻幀，共計選取15幀，這連續的15幀視頻將作為輸入。

3.根據權利要求1所述的一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于：所述步驟S02中，Xception子網絡為特征提取網絡，該子網絡的截斷層為“add_3”，原始視頻幀通過Xception子網絡進行前向傳播，到達截斷層之后生成特征圖。

4.根據權利要求1所述的一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于：所述步驟S03中，全時空卷積模塊有兩個通路，左側通路表示提取連續視頻幀的空間信息，右側通路表示提取連續視頻幀的全時序特征，最后將局部空間和全時序特征進行疊加，生成具有局部空間和全時序的融合特征。

5.根據權利要求4所述的一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于：所述全時空卷積模塊流程包括以下步驟：

S1：左通路，利用尺寸為(3，3，1)，分別代表著空間寬度、空間高度和時間長度的3D卷積核(即，K_3×3×1)提取輸入時序特征圖的空間特征；

S2：右通路，將輸入的時序特征圖按照通道維度進行切分，進而X可以表示為X＝[X₁，X₂，……，X_c]，X_i∈R^W×H×T；

S3：將X_i，i∈[1，c]抽象為使用K_3×3且輸出通道數為CT的2D卷積核來融合的全時序特征；

S4：將S1中提取的時序特征圖的空間特征和S3中提取的時序特征圖的全時序特征進行特征疊加，生成具有局部空間和全時序的融合特征。

6.根據權利要求5所述的一種基于全時空卷積模塊的暴力視頻檢測算法，其特征在于：所述全時空卷積模塊流程可以通過以下公示表示：

Xin＝[X₁，X₂，……，X_c]

Xin-c＝BN(Xin*W_{3×3×1,filters})

Xfull-Ti＝Mish(X_i*W_3×3，T)i∈[1，c]

Xconcat＝Concat(Xfull-T_i|∈[1，c])

Xfull-c＝BN(Xconcat*W_{1×1×1,filters})

Xadd＝Add(Xfull-c，Xin-c)

Yout＝Mish(X_add)。