[發明專利]一種異常行為檢測方法、終端設備及存儲介質

在審

• 申請號: 202011049302.X
• 申請日: 2020-09-29
• 公開（公告）號: CN112149596A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 蘇鷺梅;陳鑫強;李天友;吳家俊;黃明勇
• 申請（專利權）人: 廈門理工學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 汪萬龍

本發明涉及一種異常行為檢測方法、終端設備及存儲介質，該方法中包括：采集多組連續t+1幀視頻圖像組成的視頻圖像序列，將所有視頻圖像序列組成訓練集；構建U?Net神經網絡，U?Net神經網絡的輸入為第1～t幀視頻圖像組成的視頻圖像序列，輸出經過U?Net神經網絡重構后的重構圖像，通過訓練集對U?Net神經網絡進行訓練，使得重構圖像與采集的第t+1幀的真實圖像的差異最小；通過訓練后的U?Net神經網絡對視頻中連續幀的圖像不斷重構，通過重構圖像與其對應的真實圖像之間的差異與閾值的關系，判斷視頻中是否存在異常行為。本發明從大量視頻數據的規律中自主學習對行為類別的分類，省去了標注標簽的工作量。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種異常行為檢測方法、終端設備及存儲介質。

背景技術

異常行為檢測技術在安防系統中有廣闊的應用前景，目前對于異常行為的實時監控大多依賴于監控人員通過監控系統進行人工巡查，但是由于監控人員出現疲勞、注意力無法長時間集中等原因，常常出現異常行為的漏檢、誤檢等情況。因此，能夠自動識別視頻中的異常行為的系統將提高打擊違法犯罪的效率。

現有的異常行為檢測方法主要分為兩種類型：

1)基于傳統的手工特征提取的異常行為檢測方法。傳統的手工特征提取方法包括以下步驟：1.對視頻進行采樣并提取特征；2.對特征進行編碼；3.對編碼后的向量進行歸一化；4.訓練分類器。但是，這種方法所能檢測出的異常行為的種類較少，而現實場景中大多包含多種的異常行為，因此這類方法不能很好地勝任復雜場景的檢測。

(2)基于深度學習的異常行為檢測方法。深度學習中用于異常行為檢測的神經網絡主要包括卷積神經網絡(convolutional neural networks,CNN)和循環神經網絡(recurrent neural networks,RNN)。較為經典的方法是Simonyan等人提出的用于行為識別的雙流CNN(dual-stream CNN)，其將視頻視為圖像序列，其中空間流用于計算圖像幀的CNN特征，時間流用于計算幾個圖像幀之間的光流CNN特征，最后將兩種特征合并。Ji等提出了一種基于3D CNN(three-dimensional CNN)的方法，該方法將時間添加到二維CNN中，使神經網絡可以從視頻中學習空間和時間信息。但是，上述基于監督學習的異常行為檢測方法僅僅依賴于強大的行為檢測分類器，并未充分利用先驗知識。這種方法存在計算量大從而影響檢測速度的問題。并且為監督學習創建標簽需要大量的工作，手工創建的標簽越少，該算法可用于訓練的數據就越少。

發明內容

為了解決上述問題，本發明提出了一種異常行為檢測方法、終端設備及存儲介質。

具體方案如下：

一種異常行為檢測方法，包括以下步驟：

S1：采集多組連續t+1幀視頻圖像組成的視頻圖像序列，將所有視頻圖像序列組成訓練集；

S2：構建U-Net神經網絡，U-Net神經網絡的輸入為第1～t幀視頻圖像組成的視頻圖像序列，輸出經過U-Net神經網絡重構后的重構圖像，通過訓練集對U-Net神經網絡進行訓練，使得重構圖像與采集的第t+1幀的真實圖像的差異最小；對U-Net神經網絡的訓練過程中還包括外觀約束、運動約束和信息增益約束；

S3：通過訓練后的U-Net神經網絡對視頻中連續幀的圖像不斷重構，通過重構圖像與其對應的真實圖像之間的差異與閾值的關系，判斷視頻中是否存在異常行為。

進一步的，U-Net神經網絡構成的自編碼器分為編碼器和解碼器，編碼器負責對圖像的特征進行提取，并逐漸減小池化層的空間尺寸，解碼器負責對圖像的重構并恢復圖像的細節和空間尺寸。

進一步的，外觀約束包括強度約束和梯度約束；強度約束為計算重構圖像與真實圖像之間所有像素值的差值，梯度約束為計算重構圖像與真實圖像之間的梯度。