[發明專利]一種基于雙流時空自編碼器的視頻異常事件檢測方法

在審

• 申請號: 202211550477.8
• 申請日: 2022-12-05
• 公開（公告）號: CN115830541A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 郭標;劉明睿;何倩;蔣明
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/44;G06V10/764;G06V10/82;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于視頻監控領域，公開了一種基于雙流時空自編碼器的視頻異常事件檢測方法，該方法具體包括：視頻預處理；設定深度時空自編碼器；構建偽異常數據集并進行對抗訓練；使用重構誤差訓練二元分類器；異常事件檢測。本發明通過有效地組合外觀和運動信息，可以有效地對正常事件進行建模；通過忽略冗余環境信息來提高重構框架的性能，以檢測異常事件；此外，這兩個分支中的每一個都由一個標準分支和一個對抗分支組成，對抗分支可以通過使用偽異常數據集進一步提高異常檢測的精確度，該偽異常數據集可以增強識別異常事件的能力；在三個數據集上的實驗證明該方法在幀級和像素級上優于一系列最先進的方法。

技術領域

本發明屬于智能安防中的視頻監控領域，尤其涉及一種基于雙流時空自編碼器的視頻異常事件檢測方法。

背景技術

隨著互聯網技術的迅速發展，智能監控在維護公共場所秩序方面的重要性也日益增加，而異常事件檢測技術是其中的核心技術。然而，目前大部分的視頻內容監督分析工作依賴于人工進行，這樣傳統的人工異常事件檢測不僅是對人力資源的極大浪費，更無法實現對異常事件的及時預警。由于異常事件發生的頻率較低；不同的場景下正、異常事件均無明確定義；異常檢測方法計算代價大，速度慢，不能滿足實時需求等難點，異常事件檢測仍是一項極具挑戰的任務。

由于異常事件很少發生，可收集到的異常數據較少，大多數方法都采用在無監督的方式下訓練僅包含正常樣本的異常檢測模型。自編碼器在視頻異常檢測中表現出了良好的性能，它遵循基于重構的假設，即由于異常事件是不規則的，這就導致異常事件的重構誤差遠大于正常事件。Chong等人和Zhao等人將3D卷積和卷積長短期記憶網絡添加到原始自動編碼器中，以提取時間信息。Wang等人提出了一種混合自動編碼器來學習長期視頻的外觀和運動特征。但以前的方法往往僅僅是簡單地整合外觀和運動信息，并不能準確地模擬正常事件。

最近，雙流網絡已用于視頻異常事件檢測。其基本思想是使用單幀RGB作為輸入來處理空間信息并且使用多幀光流圖作為輸入來處理時間信息。與正常事件相比，異常事件對應于意外的外觀和運動。Wei等人使用雙流全卷積神經網絡(FCN)來提取互補信息。此外，Li等人將雙流框架與自動編碼器相結合，以探索異常檢測的外觀和運動線索。在這些方法中，由于深度神經網絡的強大表示，自動編碼器和雙流網絡的組合不能保證異常事件的大重構誤差。此外，雙流網絡需要在大量標記的數據集上進行學習，但是目前缺少異常樣本，導致容易出現過擬合問題。

通過上述分析，現有技術存在的問題及缺陷為：

由于深度神經網絡的強大表示，自動編碼器和雙流網絡的組合不能保證對異常事件有較大重構誤差。此外，雙流網絡的訓練需要大量標記的數據集，但異常事件的樣本遠小于正常事件，容易出現過擬合問題。

發明內容

針對現有技術存在的問題，本發明提供了一種基于雙流時空自編碼器的視頻異常事件檢測方法，該方法充分利用了空間和時間信息，空間流將檢測到的物體作為輸入以重構正常事件的外觀模型，而時間流將光流圖作為輸入以重構正常事件的時間模型，雙流能充分利用外觀和運動信息。此外，受偽標簽的啟發，提出了一種基于偽數據集的對抗分支。一方面，它可以彌補經典監督學習所需的異常數據的不足，并解決自編碼器僅在正常事件上進行訓練所導致的過擬合問題。另一方面，它可以保證對異常事件較大的異常重構誤差，提高檢測精度。

本發明通過一下技術方案得以實現。

本發明提供一種基于雙流時空自編碼器的視頻異常事件檢測方法，該方法具體包括：

步驟一，視頻預處理；

步驟二，設定雙流時空自編碼器；

步驟三，構建偽異常數據集并進行對抗訓練；

步驟四，使用重構誤差訓練二元分類器；

步驟五，異常事件檢測。