[發明專利]基于自注意增強的時空變分自編碼網絡的異常事件檢測方法

在審

• 申請號: 202110757097.0
• 申請日: 2021-07-05
• 公開（公告）號: CN113449660A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 趙明;孔子豪;茍超;劉澤;李森
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 賀建斌

1.一種基于自注意增強的時空變分自編碼網絡的異常事件檢測方法，其特征在于：包括空間變分自編碼器(Spatial VAE)模塊、自注意增強的Conv-LSTM模塊(SAA Conv-LSTM)，空間變分自編碼器(Spatial VAE)利用矩陣變量的高斯分布來直接對二維圖像信號進行建模，描述了圖像的空間結構和局部細節；SAA Conv-LSTM是通過自注意機制來控制Conv-LSTM接收到的數據中哪些元素需要保存；模型完成訓練，通過定義異常得分及確定自適應閾值來檢測視頻中的異常事件。

2.一種基于自注意增強的時空變分自編碼網絡的異常事件檢測方法，其特征在于，包括以下步驟：

步驟1，對原始采集數據集進行預處理：通過尺寸調整、灰度轉換、圖像歸一化將原始采集數據轉換為對齊的、可接受的模型輸入；

步驟2，構造模型訓練數據集：模型的輸入是視頻片段，其中每個片段由8個時序視頻幀組成；

步驟3，在時間維度上執行數據增強，以增加訓練數據集的大小；

步驟4，搭建SST-VAE模型；

步驟5，設計異常得分函數：結合L2強度損失(recon_loss)、L1梯度損失(grad_loss)以及多尺度結構相似度測量(msssim損失)來度量預測幀的質量；

步驟6，采用反向傳播算法，利用步驟3構建的數據集對步驟4搭建的SST-VAE模型進行訓練；

步驟7，使用步驟6訓練好的SST-VAE模型對視頻進行異常事件檢測，輸出視頻幀的異常得分；

步驟8，自適應閾值選擇：在只提供正常樣本的情況下，考慮利用K緊鄰技術用于自適應確定判定閾值；

步驟9，評估模型性能：通過步驟7輸出測試視頻幀的異常得分，再根據步驟8得到的判定閾值來檢查它是否能夠檢測到異常事件。

3.根據權利要求2所述的一種基于自注意增強的時空變分自編碼網絡的異常事件檢測方法，其特征在于：所述的步驟4中SST-VAE模型由3D卷積、3D解卷積、Context模塊、SAAConvLSTM模塊以及Matrix-Variate Distributions層組成；

3D卷積是指用一個大小為w*h*c的3D卷積核在特征立方體上進行卷積，3D卷積提取連續幀之間的短期運動信息；

3D解卷積即為3D卷積的逆運算；

Context模塊由四個不同的分支組成，第一個分支表示原始特征信息，其余三個分支通過不同Rate的膨脹卷積提取多尺度特征，其中小的Rate用于提取小尺寸物體特征，而大的Rate用于提取大尺寸物體特征；另外，在進行膨脹卷積運算前后，增加一個1*1的卷積結構來降低、增加維度；最后，各分支通過LeaklyRelu激活函數融合不同尺度的特征，學習不同尺度的正常模式；

SAA ConvLSTM模塊由Self-Attention Augmented Convolution模塊和Conv-LSTM模塊組成，其中，Conv-LSTM模塊是將上一層的輸出作為下一層的輸入，Conv-LSTM模塊加入了卷積操作之后，能夠同時提取時空特征；具體公式如下：

其中，i_t為輸入門輸出；f_t為遺忘門輸出；σ為Sigmoid激活函數；h_t-1為上一隱藏層輸出，x_t為本層輸入；g_t為tanh函數輸出；W_hf、W_ii、W_if、W_ig、W_io、W_hg、W_hi和W_ho均為權重；b_hf、b_ii、b_if、b_ig、b_io、b_hg、b_hi和b_ho均為偏置值；c_t-1為上一隱藏層的單元狀態；c_t為本層更新的單元狀態，o_t為輸出門輸出，h_t為本層更新的隱藏狀態；

Self-Attention Augmented Convolution模塊通過引入自注意機制，從而將強調局部性的卷積特征映射與能夠對較長范圍的相關進行建模的self-attention特征映射連接起來，以捕獲遠程的信息交互；Self-Attention Augmented Convolution模塊表示如下：

其中，X是模塊輸入特征；Q＝XW_q是一個查詢(query)；K＝XW_k是一個鍵(Key)；V＝XW_v是一個值(value)；W_q、是學習得到的投影矩陣；A_h為不同head(h)分支的輸出；Concat為級聯操作，W^o是學習矩陣，MHA為多head注意圖；AAConv(X)即為增強后的特征；

將Self-Attention Augmented Convolution模塊應用于Conv-LSTM模塊的輸入到狀態轉換，SSAConv-LSTM的格式如下：

其中，AAConv(x_t)為本層輸入；W_ci、W_cf和W_co均為權重；其余參數意義同式(1)；

Matrix-Variate Distributions層是利用矩陣變量的高斯分布來對二維圖像信號進行建模，并描述其空間結構和局部細節，其中，采用二維矩陣Z∈R^d*d作為潛在變量的特征映射，這些潛在的特征映射由矩陣變量正態分布(MVN)生成，其參數由編碼器網絡計算；Matrix-Variate Distributions層表示如下：

其中，S為該層輸入特征；reshape執行維度變換操作；μ、Ω、v、Ψ為S的切片特征；M、Sigma分別為均值矩陣和協方差矩陣；Z為潛在變量的特征映射，reparameterize執行重采樣操作。