[發明專利]在線視頻異常行為檢測模型訓練、異常檢測方法及系統

有效

• 申請號: 202110327922.3
• 申請日: 2021-03-26
• 公開（公告）號: CN112883929B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 杜澤旭;張國梁;吳鵬;趙婷;孔慶宇
• 申請（專利權）人: 全球能源互聯網研究院有限公司;國網山東省電力公司棗莊供電公司;國家電網有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/0464;G06N3/088
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 劉靜

本發明公開了一種在線視頻異常行為檢測模型訓練、異常檢測方法及系統，通過訓練方法得到的異常行為檢測模型為2D?3D?DSTAE自動編碼器，其利用2D卷積神經網絡在2D空間層面采用視頻幀稀疏采樣策略，以避免幀間信息的冗余；對于時空層面在較遠幀間采取對特征圖執行3D卷積的方式實現端到端融合，以編碼長時程視頻序列的幀間上下文信息，在兼顧實時性和準確性的基礎上解決了模型在異常數據上不能獲得較小的重構誤差問題。在線視頻異常檢測方法及系統，采用了同時維護工作記憶組和新收圖像組的在線視頻處理框架，每次檢測時通過從兩組視頻中各采樣一半視頻幀來更新工作記憶組，在保證檢測準確度的前提下，有效的提升了視頻異常行為檢測的實時性。

技術領域

本發明涉及異常行為檢測技術領域，具體涉及一種在線視頻異常行為檢測模型訓練、異常檢測方法及系統。

背景技術

隨著社會經濟高速發展，電網建設呈現出電壓等級越來越高，輸電距離越來越長，電網越來越大的特點。因此，對電網的安全性、可靠性要求也越來越高。往往大多數電網員工承擔著很重的電網設備運維工作，任何電網員工作業行為違章都有可能造成重大的安全隱患和生產事故。目前，電網人員作業監督工作，最通用的做法是采用工作票機制，在日常作業過程中通過監督員輔助監督作業行為的方式來避免作業行為違章。

電網作業具有類型多樣，流程復雜的特點，完全依靠人工監督的辦法已經無法適應現代化的電網作業特點。由此可見，研究電網在線視頻異常檢測方法有重要的理論意義和實用價值。

目前針對電網作業行為的在線視頻異常行為檢測技術，主流是的基于有監督的深度學習方法檢測準確率較高，但算法精度很大程度上受限于異常數據的數據規模；基于重構的方法則無需異常數據的支撐，僅靠正常設備數據便可實現設備異常行為檢測的任務，而正常的設備數據又是極易獲取的。

基于重構的方法認為僅通過正常數據學習的模型無法準確表示和重構異常。目前已有基于PCA或稀疏矩陣表示方法來學習正常數據的表示。但以上方法受限于有限的特征表示，導致算法的性能不佳。也有針對在線視頻異常行為檢測專門設計的一系列方法，諸如使用概率PCA來模擬光流特征，或是混合動態紋理對視頻建模，或是基于深度學習的方法提取視頻的時空特征，或是通過卷積自動編碼器重構誤差來檢測異常。但是，這些方法均缺乏可靠的機制使得模型在異常數據上得到較大的重構誤差。

發明內容

因此，為了克服現有的視頻異常行為檢測模型在異常數據上得到重構誤差大的缺陷，本發明提供一種在線視頻異常行為檢測模型訓練、異常檢測方法及系統，充分運用設備正常數據，科學有效的實現在線視頻異常行為檢測任務。

為達到上述目的，本發明提供如下技術方案：

第一方面，本發明實施例提供一種在線視頻異常行為檢測模型訓練方法，包括:

構建2D-3D深度時空自動編碼器網絡模型，所述網絡模型包括依次連接的2D卷積網絡、3D卷積網絡、3D反卷積網絡及2D反卷積網絡；

從在線視頻流中采樣得到多個長度相同的RGB片段，隨機取歷史RGB片段中一半數量的片段對新采樣的RGB片段做等量替換，隨后從每個片段中隨機采集一幀，組成采樣幀組；

將采樣幀組作為訓練數據集輸入構建的網絡模型中，首先通過共享權重的單個2D卷積網絡得到二維特征圖，通過堆疊多個視頻幀的二維特征圖得到對應的時空特征體，隨后3D卷積網絡對所述時空特征體進行處理提取時空特征，將時空特征輸入3D反卷積網絡及2D反卷積網絡對輸入數據進行重構，最后通過損失函數計算得到重構誤差；

將得到的重構誤差通過反向傳播算法更新網絡模型參數，鼓勵參數對正常數據輸入得到更小的重構誤差，得到訓練好的網絡模型作為在線視頻異常行為檢測模型。

優選地，所述損失函數表示為歐幾里得損失L_rec：