[發明專利]基于半監督學習的視頻異常檢測方法和裝置

有效

• 申請號: 202010842914.8
• 申請日: 2020-08-20
• 公開（公告）號: CN111709411B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 陳海波;張雷武
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

本發明提供一種基于半監督學習的視頻異常檢測方法和裝置，將視頻數據按順序切分成u×v幀視頻圖像；分別對每個包進行特征提取，獲得對應的視頻特征；根據視頻特征獲得視頻特征的平均向量和重要性向量，并根據視頻特征的平均向量獲取濾波區分性很強特征的掩膜，以及根據視頻特征的平均向量、掩膜和重要性向量獲取神經網絡的輟學層；根據輟學層和視頻特征向量獲得修飾后的特征，并根據修飾后的特征獲取訓練參數；在測試時，按相鄰的包獲得修飾后的特征輸入全連接網絡，計算得到每個包的得分，并根據得分判定相關位置是否發生異常。本發明能夠隱藏視頻特征中最有區分的部分來捕捉整體信息，并能突出區分性很強的信息區域來增強神經網絡的識別能力。

技術領域

本發明涉及視頻檢測技術領域，具體涉及一種基于半監督學習的視頻異常檢測方法、一種基于半監督學習的視頻異常檢測裝置、一種計算機設備和一種計算機程序產品。

背景技術

在現代社會中，視頻監控技術成為目前最重要的安防監控手段。然而，普通的監控視頻處理方法需要管理人員對監控畫面進行查看，當監控數據很大時，專人觀察非常容易疲勞，易出現漏檢現象。因此，判斷視頻是否有異常以及定位視頻中異常的部分成為監控管理的迫切需求。

相關技術中將視頻的一部分畫面輸入到C3D網絡（3D卷積神經網絡）等來獲得這部分的視頻特征，然后將這部分特征輸入全鏈接網絡計算異常得分，最后根據各部分的異常得分取最大值來預測視頻中是否發生異常事件，同時根據各部分的得分來定位視頻中發生異常的位置。

但是上述方案中異常得分的貢獻主要由一些顯著的局部特征所確定，而在有些視頻中需要神經網絡對視頻全局的理解才能確定是否發生了異常，因此僅僅只考慮一些區分性很強的局部特征來判定可能不準確。

發明內容

本發明為解決上述技術問題，提供了一種基于半監督學習的視頻異常檢測方法，能夠隱藏視頻特征中最有區分的部分來捕捉整體信息，并能突出區分性很強的信息區域來增強神經網絡的識別能力。

本發明采用的技術方案如下：

一種基于半監督學習的視頻異常檢測方法，包括以下步驟：將視頻數據按順序切分成u×v幀視頻圖像，其中，從頭開始每相鄰時序的v幀視頻稱為一個包，每個視頻可分為u個包，u和v為正整數；分別對每個包進行特征提取，獲得對應的視頻特征，其中，每個視頻有u個視頻特征向量；根據所述視頻特征獲得視頻特征的平均向量和重要性向量，并根據所述視頻特征的平均向量獲取濾波區分性很強特征的掩膜，以及根據所述視頻特征的平均向量、所述掩膜和所述重要性向量獲取神經網絡的輟學層；根據所述輟學層和所述視頻特征向量獲得修飾后的特征，并根據所述修飾后的特征獲取訓練參數；在測試時，按相鄰的包獲得所述修飾后的特征輸入全連接網絡，計算得到每個包的得分，并根據所述得分判定相關位置是否發生異常。

根據本發明的一個實施例，通過下述公式計算獲得所述重要性向量F_s：

其中，Sigmoid函數表達式為，F_m表示視頻特征的平均向量。

根據本發明的一個實施例，通過下述公式計算獲得所述神經網絡的輟學層F_d：

其中，，其中，α為預設系數，且，S為[0,1]之間的隨機數，為掩膜。

根據本發明的一個實施例，通過下述訓練模型獲得訓練參數，

其中，，，，a₁、a₂為超參數，為異常視頻的特征，為正常視頻的特征，表示對相應的u個特征通過全連接網絡G后的最后得分取最大值。

根據本發明的一個實施例，全連接網絡G的表達式為：