[發明專利]基于半監督學習的視頻異常檢測方法和裝置

有效

• 申請號: 202010842914.8
• 申請日: 2020-08-20
• 公開（公告）號: CN111709411B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 陳海波;張雷武
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種基于半監督學習的視頻異常檢測方法，其特征在于，包括以下步驟：

將視頻數據按順序切分成u×v幀視頻圖像，其中，從頭開始每相鄰時序的v幀視頻稱為一個包，每個視頻可分為u個包，u和v為正整數；

分別對每個包進行特征提取，獲得對應的視頻特征，其中，每個視頻有u個視頻特征向量；

根據所述視頻特征獲得視頻特征的平均向量和重要性向量，并根據所述視頻特征的平均向量獲取濾波區分性很強特征的掩膜，以及根據所述視頻特征的平均向量、所述掩膜和所述重要性向量獲取神經網絡的輟學層；

根據所述輟學層和所述視頻特征向量獲得修飾后的特征，并根據所述修飾后的特征獲取訓練參數，其中，將所述輟學層與所述視頻特征向量進行點乘，以得到所述修飾后的特征；

在測試時，按相鄰的包獲得所述修飾后的特征輸入全連接網絡，計算得到每個包的得分，并根據所述得分判定相關位置是否發生異常。

2.根據權利要求1所述的基于半監督學習的視頻異常檢測方法，其特征在于，通過下述公式計算獲得所述重要性向量F_s：

其中，Sigmoid函數表達式為，表示視頻特征的平均向量。

3.根據權利要求2所述的基于半監督學習的視頻異常檢測方法，其特征在于，通過下述公式計算獲得所述神經網絡的輟學層F_d：

其中，，α為預設系數，且，S為[0,1]之間的隨機數，為掩膜。

4.根據權利要求3所述的基于半監督學習的視頻異常檢測方法，其特征在于，通過下述訓練模型獲得訓練參數，

其中，，，，a₁、a₂為超參數，為異常視頻的特征，為正常視頻的特征，，1≤i≤u，表示對相應的u個特征通過全連接網絡G后的最后得分取最大值。

5.根據權利要求1所述的基于半監督學習的視頻異常檢測方法，其特征在于，全連接網絡G的表達式為：

其中，為修飾后的特征，和，，為待訓練參數，的表達式為，當x為向量時，對向量中的每個元素進行操作。

6.根據權利要求1所述的基于半監督學習的視頻異常檢測方法，其特征在于，根據所述視頻特征的平均向量獲取濾波區分性很強特征的掩膜，包括：

當所述視頻特征的平均向量小于或等于其對應的最大元素與預設系數的乘積時，所述掩膜中相應位置的元素值為1；

當所述視頻特征的平均向量大于其對應的最大元素與預設系數的乘積時，所述掩膜中相應位置的元素值為0。

7.根據權利要求1所述的基于半監督學習的視頻異常檢測方法，其特征在于，根據所述得分判定相關位置是否發生異常，包括：

判斷所述得分是否大于預設閾值；

如果大于，則判斷當前畫面為異常畫面，以確定視頻中的異常位置。

8.一種基于半監督學習的視頻異常檢測裝置，其特征在于，包括：

視頻切分模塊，用于將視頻數據按順序切分成u×v幀視頻圖像，其中，從頭開始每相鄰時序的v幀視頻稱為一個包，每個視頻可分為u個包，u和v為正整數；

視頻特征提取模塊，用于分別對每個包進行特征提取，獲得對應的視頻特征，其中，每個視頻有u個視頻特征向量；

神經網絡訓練模塊，用于根據所述視頻特征獲得視頻特征的平均向量和重要性向量，并根據所述視頻特征的平均向量獲取濾波區分性很強特征的掩膜，以及根據所述視頻特征的平均向量、所述掩膜和所述重要性向量獲取神經網絡的輟學層，并根據所述輟學層和所述視頻特征向量獲得修飾后的特征，并根據所述修飾后的特征獲取訓練參數，其中，將所述輟學層與所述視頻特征向量進行點乘，以得到所述修飾后的特征；

模型測試模塊，用于在測試時，按相鄰的包獲得所述修飾后的特征輸入全連接網絡，計算得到每個包的得分，并根據所述得分判定相關位置是否發生異常。

9.一種計算機設備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時，實現根據權利要求1-7中任一項所述的基于半監督學習的視頻異常檢測方法。