[發明專利]一種基于前景信息增強的視頻異常檢測方法

在審

• 申請號: 202210006317.0
• 申請日: 2022-01-04
• 公開（公告）號: CN114332071A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王豐;鄺永年;梁振華
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 戴緒霖

1.一種基于前景信息增強的視頻異常檢測方法，其特征在于，包括以下步驟：

步驟1，將訓練集中連續的t+1幀視頻幀進行背景與前景的分割的預處理，保留視頻圖像的前景區域；

步驟2，搭建生成網絡以及判別網絡模型；其中，生成網絡包括生成器和光流網絡；

將預處理后的連續t幀視頻幀I₁,I₂,…,I_t作為實際視頻幀進入生成網絡，生成I_t的下一幀預測視頻幀構建生成網絡的損失函數，在損失函數中加入RGB三色強度約束以及梯度約束用來保證視頻幀在空間上的連續性，加入運動約束用來保證視頻幀在時間上的連續性，加入對抗約束用來與判別網絡進行對抗；構建判別網絡的損失函數，利用判別器進行預測視頻幀以及對應的實際視頻幀的區分；

步驟3，以訓練集中的多組正常行為的視頻幀訓練生成網絡和判別網絡；

步驟4，將待判別的視頻幀數據輸入訓練好的生成網絡和判別網絡中，得出基于自適應峰值信噪比，判斷異常行為是否發生，其中，所述自適應峰值信噪比如下：

為預測視頻幀圖像中最大的像素值，Row為圖像行像素點數，Col為圖像列像素點數，I_i,j表示預測視頻幀該預測視頻幀對應的實際視頻幀I中坐標(i,j)像素點的像素值；G_i,j為預測視頻幀和實際視頻幀I的識別區域前景掩碼在坐標(i,j)像素點的掩碼值；‖G‖₁為預測視頻幀和實際視頻幀I的識別區域前景掩碼矩陣G的一范數。

2.根據權利要求1所述的基于前景信息增強的視頻異常檢測方法，其特征在于，所述生成網絡的損失函數表示如下：

其中，λ_int、λ_gd、λ_op、λ_adv為強度損失L_int、梯度損失L_gd、光流損失L_op以及對抗損失在損失函數中所占的權重。

3.根據權利要求1所述的基于前景信息增強的視頻異常檢測方法，其特征在于，所述加入RGB三色強度約束以及梯度約束用來保證視頻幀在空間上的連續性，具體表示如下：

其中L_int為強度損失，表示生成的預測視頻幀的像素數據，I表示該預測視頻幀所對應的實際視頻幀的像素數據；

其中L_gd為梯度損失，下標i，j表示視頻幀I中像素點的位置；

所述加入運動約束用來保證視頻幀在時間上的連續性，具體表示如下：

其中，L_op為光流損失，f(I_t+1,I_t)表示使用光流網絡計算兩幀視頻幀I_t+1,I_t的光流信息；光流網絡的輸入為生成器生成的預測視頻幀、所對應的實際視頻幀以及該實際視頻幀的前一幀；

所述加入對抗約束用來與判別網絡進行對抗，表示為：

其中，為對抗損失，表示判斷網絡判斷視頻幀是生成出來的“假”圖像還是真實的“真”圖像，表示判斷中像素點(i，j)的標簽為真的概率，

4.根據權利要求1所述的基于前景信息增強的視頻異常檢測方法，其特征在于，所述判別器的損失函數表示為：

其中，D(I)_i,j表示判斷視頻幀I中像素點(i，j)的標簽為真的概率。