[發(fā)明專利]一種基于深度學(xué)習(xí)的視頻異常行為檢測方法

有效

• 申請?zhí)枺?/td>: 201811026243.7
• 申請日: 2018-09-04
• 公開（公告）號: CN109359519B
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計）人: 陳華華;劉萍;郭春生;葉學(xué)義
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明涉及一種基于深度學(xué)習(xí)的視頻異常行為檢測方法。本發(fā)明方法包括訓(xùn)練階段和測試階段。在訓(xùn)練階段，將訓(xùn)練視頻序列轉(zhuǎn)換成灰度圖和光流圖，并分別制作成時空塊，分別輸入到殘差自編碼模型中進行訓(xùn)練，建立基于灰度圖和光流圖的兩個模型，訓(xùn)練好的模型包含了正常行為的運動模式和外觀信息，所以更有利于正常行為的重構(gòu)。在測試階段，將測試數(shù)據(jù)制作成灰度圖和光流圖的時空塊，先將灰度圖時空塊輸入到灰度圖模型中，初步檢測出正常區(qū)域和可疑區(qū)域，再將可疑區(qū)域的光流圖時空塊輸入到光流圖模型中，檢測出正常區(qū)域和異常區(qū)域，得到最終的異常判定，本發(fā)明方法能更好地鑒別視頻數(shù)據(jù)的運動信息和外觀特征，從而提高異常行為的檢測率。

技術(shù)領(lǐng)域

本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，涉及一種對視頻進行異常行為檢測的方法，具體是一種基于深度學(xué)習(xí)的視頻異常行為檢測方法。

背景技術(shù)

視頻異常行為檢測是屬于智能視頻監(jiān)控的范疇，是利用智能算法針對監(jiān)控視頻中的異常行為進行檢測，并發(fā)出報警信號以提高相關(guān)部門的響應(yīng)速度。視頻異常行為檢測技術(shù)的發(fā)展在維護公共場所安全，節(jié)約人力物力上有著重要的作用。

在不同的視頻場景中對異常的定義是不一樣的，在同一個場景中異常事件的種類也是比較多樣化的。通常情況下，異常事件是不同于正常事件的，發(fā)生概率比較小的事件。從目前的異常檢測方法來看，大致可以分為基于人為選擇特征的方法和基于深度神經(jīng)網(wǎng)絡(luò)自動選擇特征的方法。大多數(shù)方法一般涉及兩個部分，在訓(xùn)練階段通過無監(jiān)督學(xué)習(xí)訓(xùn)練數(shù)據(jù)的外觀和運動特征，建立與正常數(shù)據(jù)相關(guān)聯(lián)的一個或多個模型。在測試階段，根據(jù)視頻數(shù)據(jù)與模型是否匹配判定視頻是否異常。早期有學(xué)者通過研究視頻中運動目標的軌跡來檢測異常事件，但這種方法不能解決人群遮擋的問題。也有學(xué)者提出基于學(xué)習(xí)字典、稀疏重建的方法。

近年來，在圖像分類中的可視化數(shù)據(jù)表示和運動識別上，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)顯示出它們優(yōu)于人工設(shè)定特征的優(yōu)點，特別是近幾年其在時間有效性及準確性上都取得了進一步的突破。因此，將深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)應(yīng)用到異常行為檢測中，往往可以取得相比傳統(tǒng)特征提取方法更好的效果。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的視頻異常行為檢測方法，提高對異常行為的檢測率。

為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案融合了多種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。本發(fā)明方法包括訓(xùn)練階段和測試階段，具體細節(jié)說明如下：

1、訓(xùn)練階段：

首先進行預(yù)處理：選取待檢測視頻數(shù)據(jù)集，視頻數(shù)據(jù)集包含訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)全是正常行為樣本；提取訓(xùn)練數(shù)據(jù)集的灰度圖序列，圖像尺寸規(guī)范化為M×N，M和N分別代表圖像的寬和高；并通過訓(xùn)練數(shù)據(jù)集的灰度圖序列計算光流圖序列，得到訓(xùn)練數(shù)據(jù)集的灰度圖數(shù)據(jù)集和光流圖數(shù)據(jù)集；然后進行如下操作：

步驟(1).將訓(xùn)練數(shù)據(jù)集中的灰度圖數(shù)據(jù)集的灰度圖像用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊g_ri；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本g_r＝[g_r1,g_r2,…,g_rt]，尺寸大小為t×p×p；

將訓(xùn)練數(shù)據(jù)集中的光流圖數(shù)據(jù)集的光流圖像用網(wǎng)格的方式分割成不重疊的空間塊，每一幀圖像尺寸為M×N，分割成大小為p×p的空間塊o_ri；將空間位置上相同的連續(xù)t幀的空間塊組合成一個時空樣本o_r＝[o_r1,o_r2,…,o_rt]，尺寸大小為t×p×p；

這樣就將訓(xùn)練數(shù)據(jù)集劃分為灰度圖像時空樣本集G_r和光流圖像時空樣本集O_r；