[發(fā)明專利]基于線性動態(tài)系統(tǒng)和深度網(wǎng)絡的異常行為檢測方法

有效

• 申請?zhí)枺?/td>: 201811562111.6
• 申請日: 2018-12-20
• 公開（公告）號: CN109670446B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設計）人: 郭杰龍;魏憲;蘭海;方立;孫威振;王萬里;湯璇;唐曉亮
• 申請（專利權）人: 泉州裝備制造研究所
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/77;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京科億知識產(chǎn)權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發(fā)明提供了一種基于線性動態(tài)系統(tǒng)和深度網(wǎng)絡的異常行為檢測方法。本發(fā)明將LDS動態(tài)系統(tǒng)模型與TSN深度學習網(wǎng)絡相結合，通過TSN提取動作的時空特征信息，然后通過LDS將動作特征串聯(lián)為完整的行為特征，最后通過支持向量機SVM判斷行為類型。本發(fā)明在殘差網(wǎng)絡的基礎上搭建了3D卷積網(wǎng)絡，通過2D+1D形式構建3D卷積核，降低了網(wǎng)絡參數(shù)量，并解決了原3D網(wǎng)絡無法預載入權值的問題；在TSN結構中引入了殘差3D網(wǎng)絡，增加網(wǎng)絡的特征提取能力；增加了網(wǎng)絡層數(shù)，提升了網(wǎng)絡的擬合能力。本發(fā)明能夠實現(xiàn)長序列異常動作的高精度識別，最終達到對異常行為的精確監(jiān)測。

技術領域

本發(fā)明涉及視頻檢測方法，具體涉及一種基于線性動態(tài)系統(tǒng)和深度網(wǎng)絡的異常行為檢測方法。

背景技術

近年來，視頻監(jiān)控已經(jīng)廣泛的應用于園區(qū)安防，交通監(jiān)控，室內監(jiān)測等公共環(huán)境中。隨著監(jiān)控的普及，需要一種快速、穩(wěn)定的檢測方法來對視頻中的異常行為進行分析處理。所謂的異常行為是指不合規(guī)定或者常規(guī)的動作，即與常規(guī)行為相反，這類動作具有危險性或者隱藏危險性。通過檢測人或人群的異常行為能夠提供關鍵的預警信息，從源頭上降低突發(fā)事件所帶來的危害。

異常行為有如下特點：(1)動作持續(xù)時間短，特征不鮮明，易于常規(guī)動作混淆，例如離崗和入侵動作往往很短時間就結束，容易漏判和錯判；(2)所處的監(jiān)控環(huán)境人流量大，干擾信息多，異常行為種類多樣，當眾多人員散布在一個特定等場景內時，需要對各類非法行為進行檢測。(3)離崗和入侵動作是由多個子動作組成，在視頻中時序長度不定，需要方法能夠從全局角度對此類異常行為進行檢測。而傳統(tǒng)的深度網(wǎng)絡學習方法不能很好的檢測長時序視頻中的短時異常行為，其檢測的精度和效率較低。

目前異常行為檢測方法分為手工特征提取方法和深度學習方法。

1.手工特征提取方法，主要有HOG方法，SIFT方法，MBH方法，iDT方法等，這類方法都是通過手工設計特征并從視頻中提取動作信息，最后使用機器學習方法進行分類。

2.深度學習方法，以時序網(wǎng)絡RNN和卷積網(wǎng)絡CNN為基礎，主要有3種結構：LRCN，C3D和TSN。

LRCN(2D-CNN+LSTM)模型將視頻特征分為動態(tài)和靜態(tài)兩類先后提取，通過2D-CNN提取圖像中的靜態(tài)特征，然后使RNN獲取視頻中的動態(tài)特征。模型結構是將RNN放置在 2D-CNN之后，即在已獲得靜態(tài)特征基礎上提取時空特征，最后通過全連接層和Softmax結構獲得分類結果。

C3D(3D-CNN)模型將視頻中的靜態(tài)和動態(tài)特征視為一體，通過更高維度的卷積核和池化核，網(wǎng)絡能從視頻中直接獲取時空特征。模型結構與2D-CNN相似，擁有數(shù)層卷積、池化層以及Norm、激活函數(shù)等結構，也通過全連接層和Softmax獲得預測結果。

TSN(Two-Stream Network)模型將視頻中的靜態(tài)和動態(tài)特征并行提取，將RGB圖像與光流圖像分別輸入到兩個CNN中，分別獲得靜態(tài)和動態(tài)特征信息，通過融合層獲得分類結果。模型是由兩組CNN并行組成的。

現(xiàn)有的手工提取特征方法和深度學習方法有如下缺陷：

1.在場景和動作類型較多的情況下，手工提取特征方法需要考慮不同的限制條件，并采取不同的編碼手段。在實際操作中較為笨重復雜，方法缺乏可移植性，不適用園區(qū)內的異常行為檢測。

2.三種深度學習方法具有如下特點和缺陷：

LRCN改變了特征提取順序，通過分步的方式獲取時空特征，但它忽略了動作中時空特征的整體性和結構性，將動態(tài)特征的提取簡單的建立在了CNN上。此類串聯(lián)提取時空特征的方法，丟失了低維的動態(tài)特征。在實際應用中，LRCN網(wǎng)絡無法識別動作先后順序(例如這類動作到底是進入崗位還是脫離崗位)，其識別精度也低于傳統(tǒng)的ResNet和VGG等 2D-CNN。