[發(fā)明專利]一種基于深度學習的視頻異常行為檢測方法

有效

• 申請?zhí)枺?/td>: 201811026243.7
• 申請日: 2018-09-04
• 公開（公告）號: CN109359519B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設計）人: 陳華華;劉萍;郭春生;葉學義
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于深度學習的視頻異常行為檢測方法，包括訓練階段和測試階段，其特征在于：

所述的訓練階段具體如下：

首先進行預處理：選取待檢測視頻數(shù)據(jù)集，視頻數(shù)據(jù)集包含訓練數(shù)據(jù)集和測試數(shù)據(jù)集，訓練數(shù)據(jù)集中的訓練數(shù)據(jù)全是正常行為樣本；提取訓練數(shù)據(jù)集的灰度圖序列，圖像尺寸規(guī)范化為M×N，M和N分別代表圖像的寬和高；并通過訓練數(shù)據(jù)集的灰度圖序列計算光流圖序列，得到訓練數(shù)據(jù)集的灰度圖數(shù)據(jù)集和光流圖數(shù)據(jù)集；然后進行如下操作：

步驟(1).將訓練數(shù)據(jù)集中的灰度圖數(shù)據(jù)集的灰度圖像用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊g_ri；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本g_r＝[g_r1,g_r2,…,g_rt]，尺寸大小為t×p×p；

將訓練數(shù)據(jù)集中的光流圖數(shù)據(jù)集的光流圖像用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊o_ri；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本o_r＝[o_r1,o_r2,…,o_rt]，尺寸大小為t×p×p；

由此，將訓練數(shù)據(jù)集劃分為灰度圖像時空樣本集G_r和光流圖像時空樣本集O_r；

步驟(2).搭建殘差自編碼網(wǎng)絡，所述的殘差自編碼網(wǎng)絡結構分為輸入層、中間網(wǎng)絡層和輸出層；中間網(wǎng)絡層由a層卷積層，b層卷積長短時記憶層，a層反卷積層組成，并采用殘差結構的方式進行組合連接；

步驟(3).將訓練數(shù)據(jù)集的灰度圖像時空樣本集G_r輸入到步驟(2)的殘差自編碼網(wǎng)絡中進行迭代訓練，以輸出數(shù)據(jù)與輸入數(shù)據(jù)的均方誤差作為訓練的目標函數(shù)，最大迭代次數(shù)為200次，或者目標函數(shù)相比于上一次迭代結果的變化值小于0.1時，停止迭代；訓練完成后得到基于灰度圖像數(shù)據(jù)重構的模型A1；將灰度圖像時空樣本集G_r輸入到模型A1中，得到模型A1輸出數(shù)據(jù)，將輸入數(shù)據(jù)與模型A1輸出數(shù)據(jù)相減結果的二范數(shù)作為重構誤差，重構誤差的最大值，記作α；

將訓練數(shù)據(jù)集的光流圖像時空樣本集O_r輸入到步驟(2)的殘差自編碼網(wǎng)絡中進行迭代訓練，以輸出數(shù)據(jù)與輸入數(shù)據(jù)的均方誤差作為訓練的目標函數(shù)，最大迭代次數(shù)為200次，或者目標函數(shù)相比于上一次迭代結果的變化值小于0.1時，停止迭代；訓練完成后得到基于光流圖像數(shù)據(jù)重構的模型A2；將光流圖像時空樣本集O_r輸入到模型A2中，得到模型A2輸出數(shù)據(jù)，將輸入數(shù)據(jù)與模型A2輸出數(shù)據(jù)相減結果的二范數(shù)作為重構誤差，重構誤差的最大值，記作β；

所述的測試階段具體如下：

首先進行預處理：選取待檢測視頻數(shù)據(jù)集，提取測試數(shù)據(jù)集的灰度圖序列，圖像尺寸規(guī)范化為M×N，M和N分別代表圖像的寬和高；并通過測試數(shù)據(jù)集的灰度圖序列計算光流圖序列，得到測試數(shù)據(jù)集的灰度圖數(shù)據(jù)集和光流圖數(shù)據(jù)集；然后進行如下操作：

步驟(4).將測試數(shù)據(jù)集中的灰度圖數(shù)據(jù)集的灰度圖像用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊g_ei；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本g_e＝[g_e1,g_e2,…,g_et]，尺寸大小為t×p×p；得到測試數(shù)據(jù)集的灰度圖像時空樣本測試集G_e；

步驟(5).將灰度圖像的時空樣本測試集G_e輸入到模型A1中，經(jīng)過各層網(wǎng)絡處理后得到數(shù)據(jù)重構的輸出，將輸入數(shù)據(jù)與輸出數(shù)據(jù)相減，并計算相減結果的二范數(shù)作為輸入與輸出之間的重構誤差E1；重構誤差E1小于或等于α的樣本數(shù)據(jù)檢測為正常區(qū)域，大于α的樣本數(shù)據(jù)檢測為可疑區(qū)域；

步驟(6).提取可疑區(qū)域的光流圖像，并用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊o_ei；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本o_e＝[o_e1,o_e2,…,o_et]，尺寸大小為t×p×p；得到可疑區(qū)域光流圖像時空樣本測試集O_e；

步驟(7)：將O_e輸入到模型A2中，得到數(shù)據(jù)重構的輸出，將輸入數(shù)據(jù)與輸出數(shù)據(jù)相減，并計算相減結果的二范數(shù)作為輸入與輸出之間的重構誤差E2；重構誤差E2小于或等于β的樣本數(shù)據(jù)檢測為正常區(qū)域，大于β的樣本數(shù)據(jù)檢測為異常區(qū)域；

由此，得到測試數(shù)據(jù)集的檢測結果，完成整個系統(tǒng)的異常檢測。