[發明專利]基于自注意增強的時空變分自編碼網絡的異常事件檢測方法

在審

• 申請號: 202110757097.0
• 申請日: 2021-07-05
• 公開（公告）號: CN113449660A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 趙明;孔子豪;茍超;劉澤;李森
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 賀建斌

一種基于自注意增強的時空變分自編碼網絡的異常事件檢測方法，網絡主要包括空間變分自編碼器模塊、自注意增強的Conv?LSTM模塊。首先對原始采集數據集進行預處理，構造模型訓練數據集，搭建SST?VAE模型；再設計異常得分函數，采用反向傳播算法，利用數據集對SST?VAE模型進行訓練；再對視頻進行異常事件檢測，輸出視頻幀的異常得分；然后進行自適應閾值選擇，評估模型性能；本發明避免了傳統VAE中矢量化過程導致的信息丟失；有選擇性、動態地調節輸入的信息到隱藏的Conv?LSTM表示中，充分利用視頻的時空特征，改善信息流；在視頻異常檢測領域具有良好的應用前景。

技術領域

本發明涉及視頻異常檢測技術領域，具體涉及一種基于自注意增強的時空變分自編碼網絡的異常事件檢測方法。

背景技術

近年來，由于智能視頻監控系統(IVSS)能夠實時自動檢測犯罪、斗毆、交通事故、騷亂、踩踏等異常活動以及敏感地點的武器、遺棄物等異常實體，其被廣泛應用于商場、醫院、銀行、街道、智慧城市等多種公共場所，用于保障公眾的生命與財產安全。當IVSS的檢測結果相比于同一場景下的其他檢測結果有顯著差異時，研究人員通常認為這個由不同機制產生的特定檢測結果即可被稱為對應于該場景下的異常。然而，由于異常的模糊性及罕見性、環境條件的多樣性、行為的復雜性等不確定性因素，使得視頻異常檢測具有很大的挑戰性。

由于上述挑戰的存在，視頻異常檢測通常被定義為一種半監督學習技術，它通過使用僅依靠弱標記的正常視頻實例訓練的模型來檢測視頻中存在的異常活動或實體。而根據輸入類型的不同，現有的無監督方法可以分為兩類：基于手工特征的方法和基于深度特征的方法。其中，基于手工特征的方法通常依靠手工設計的各種特征描述符來檢測視頻中的異常事件，例如定向梯度直方圖(HOG)和光流直方圖(HOF)，然后再通過統計方法或稀疏編碼方法學習的正常事件模型完成視頻異常事件檢測；然而，由于面臨著高維特征處理復雜、設計描述符需要一定的先驗知識以及手工制作的特征缺乏泛化能力等挑戰，這類方法并不能滿足日益增長的監控需求。

近年來，隨著深度學習的迅速發展，視頻異常檢測領域中深度模型的應用也受到的研究人員的廣泛關注。目前，常用于異常檢測的模型有重構模型和預測模型；其中，重構模型是通過卷積自編碼結構(CAE)重新生成輸入圖像，同時將具有較大重構誤差的視頻幀視為異常。然而，由于深度神經網絡具有優秀的生成能力，正常事件和異常事件的重構誤差差別很小，僅依靠重構誤差不可能完全識別異常事件。幸運的是，預測模型可以在一定程度上緩解上述問題，在預測模型中，視頻數據被視為一個時空信號，其特定的幀順序提供了一個特定的模式，模型的目標是對條件分布P建模，利用過去幀預測當前幀；這類模型通常在CAE的基礎上結合三維卷積(3D-Conv)或卷積長短時記憶(Conv-LSTM)等模塊，使得該類模型能同時利用空間(外觀)和時間(運動)特征，進一步提高檢測效果。但是，往往隨著預測視界的延長，Conv-LSTM的預測質量顯著下降，導致大量模糊和運動物體消失，使得模型檢測性能下降。另外，視頻異常檢測任務中常存在的數據稀缺和數據不平衡等問題，也會導致檢測效果仍難以滿足智能監控需求。

相比于上述對類別之間的決策邊界進行建模的深度判別模型，近年提出的深度生成模型可以通過最大似然原則實現對每個類別的實際分布進行建模，從而有效的解決判別模型面臨的數據稀缺和數據不平衡問題。目前，常用的深度生成模型有變分自編碼器(VAE)、Adversarial AE、Weighted ConvolutionalAE–LSTM network等。VAE是一維矢量數據建模的一種重要的概率技術，在傳統的VAE框架下，潛變量的一般假設是一維的獨立多元高斯分布，因此，VAE模型在應用于二維視頻圖像時，需要潛變量進行矢量化處理(二維轉為一維)。但不幸的是，矢量化過程會不可避免地破壞圖像的固有結構，從而導致丟失重要的空間信息，難以完全利用深度生成模型的優勢。

發明內容