[發明專利]在線視頻異常行為檢測模型訓練、異常檢測方法及系統

有效

• 申請號: 202110327922.3
• 申請日: 2021-03-26
• 公開（公告）號: CN112883929B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 杜澤旭;張國梁;吳鵬;趙婷;孔慶宇
• 申請（專利權）人: 全球能源互聯網研究院有限公司;國網山東省電力公司棗莊供電公司;國家電網有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/0464;G06N3/088
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 劉靜

1.一種在線視頻異常行為檢測模型訓練方法，其特征在于，包括:

構建2D-3D深度時空自動編碼器網絡模型，所述網絡模型包括依次連接的2D卷積網絡、3D卷積網絡、3D反卷積網絡及2D反卷積網絡；

從在線視頻流中采樣得到多個長度相同的RGB片段，隨機取歷史RGB片段中一半數量的片段對新采樣的RGB片段做等量替換，隨后從每個片段中隨機采集一幀，組成采樣幀組；

將采樣幀組作為訓練數據集輸入構建的網絡模型中，首先通過共享權重的單個2D卷積網絡得到二維特征圖，通過堆疊多個視頻幀的二維特征圖得到對應的時空特征體，隨后3D卷積網絡對所述時空特征體進行處理提取時空特征，將時空特征輸入3D反卷積網絡及2D反卷積網絡對輸入數據進行重構，最后通過損失函數計算得到重構誤差；

將得到的重構誤差通過反向傳播算法更新網絡模型參數，鼓勵參數對正常數據輸入得到更小的重構誤差，得到訓練好的網絡模型作為在線視頻異常行為檢測模型。

2.根據權利要求1所述的在線視頻異常行為檢測模型訓練方法，其特征在于，所述損失函數表示為歐幾里得損失L_rec：

其中，是第i個輸入batch的大小為N的輸入采樣幀組，j是大小為N的采樣幀組中的一幀，是通過重構得到的重構輸出。

3.根據權利要求1所述的在線視頻異常行為檢測模型訓練方法，其特征在于，在線視頻的行為包括：電網作業行為。

4.一種在線視頻異常檢測方法，其特征在于，包括：

自t時刻起累積輸入的在線視頻數據為包含N幀的視頻片段S_N，在視頻幀采樣初始階段，對前N幀進行密集采樣生成視頻片段S_N，當后續采集的視頻幀數達到N幀后，將生成新的標準長度視頻片段隨機取其中一半數量的視頻幀，對S_N中等量的視頻幀進行均勻替換，得到當前時刻更新后的S_N，同時將權利要求1-3任一所述的在線視頻異常行為檢測模型的采樣幀數也設置為N幀；

將在線視頻片段S_N輸入權利要求1-3任一所述的在線視頻異常行為檢測模型得到相應的重構誤差，判斷當前時刻輸入視頻流是否異常，如果重構誤差小于預設閾值，則無異常發生，否則輸入視頻流發生異常。

5.根據權利要求4所述的在線視頻異常檢測方法，其特征在于，當輸入視頻流發生異常時發出告警信號，然后繼續執行在線視頻異常行為檢測任務。

6.一種在線視頻異常行為檢測模型訓練系統，其特征在于，包括：

網絡模型構建模塊，用于構建2D-3D深度時空自動編碼器網絡模型，所述網絡模型包括依次連接的2D卷積網絡、3D卷積網絡、3D反卷積網絡及2D反卷積網絡；

視頻幀采樣模塊，用于從在線視頻流中采樣得到多個長度相同的RGB片段，隨機取歷史RGB片段中一半數量的片段對新采樣的RGB片段做等量替換，隨后從每個片段中隨機采集一幀，組成采樣幀組；

重構誤差獲取模塊，用于將采樣幀組作為訓練數據集輸入構建的網絡模型中，首先通過共享權重的單個2D卷積網絡得到二維特征圖，通過堆疊多個視頻幀的二維特征圖得到對應的時空特征體，隨后3D卷積網絡對所述時空特征體進行處理提取時空特征，將時空特征輸入3D反卷積網絡及2D反卷積網絡對輸入數據進行重構，最后通過損失函數計算得到重構誤差；

在線視頻異常行為檢測模型獲取模塊，用于將得到的重構誤差通過反向傳播算法更新網絡模型參數，鼓勵參數對正常數據輸入得到更小的重構誤差，得到訓練好的網絡模型作為在線視頻異常行為檢測模型。