[發明專利]基于壓縮視頻實現實時異常行為識別的方法、裝置及其存儲介質

在審

• 申請號: 202011097795.4
• 申請日: 2020-10-14
• 公開（公告）號: CN112200096A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 成云飛;王武;劉月霞
• 申請（專利權）人: 公安部第三研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 王潔;鄭暄

本發明涉及一種基于壓縮視頻實現實時異常行為識別的方法，包括通過分段采樣操作處理將原始視頻均勻劃分成若干個片段，并按照一定的采樣密度從每個視頻片段中獲取一個I幀的描述信息和若干個P幀的描述信息；進行異常行為識別網絡模型搭建；進行異常行為識別網絡模型訓練。本發明還涉及基于壓縮視頻實現實時異常行為識別的裝置及其存儲介質。采用了本發明的基于壓縮視頻實現實時異常行為識別的方法，為適應實際監控場景下對異常行為識別的實時性需要，提供了一種直接利用壓縮視頻進行異常行為檢測的方法，規避了對壓縮視頻的解碼和密集光流的計算，從而大幅地節省了計算時間。同時利用壓縮視頻中易于提取的運動向量和殘差，包含了運動信息的描述，從而在滿足高實時性要求的同時，也保證了較高異常行為識別的準確率。

技術領域

本發明涉及計算機視覺領域，尤其涉及異常行為識別領域，具體是指一種基于壓縮視頻 實現實時異常行為識別的方法、裝置及其計算機可讀存儲介質。

背景技術

隨著視頻監控基礎設施建設日益完善，監控視頻數量顯著增長，必須充分發揮視頻監控系 統的優勢，由被動式的人工監控向主動式的智能監控系統轉變。

異常行為識別本質屬于行為識別范疇，行為識別作為計算機視覺領域的重點研究內容，受 到了國內外學者的廣泛關注。智能監控系統中的異常行為識別技術對行為識別提出了實時性 的要求，而當前行為識別領域的研究大多側重于準確率，所提出的識別算法通常具有較高的 時間和空間計算復雜度，不能很好地滿足實時性需求。

經過對現有技術的檢索發現，K.Simonyan等人在2014年的《Advances in neuralinformation processing systems，pp.568-576，(神經信息處理系統進展大會，第568-576頁)》 上發表了題為“Two-stream convolutional networks for action recognition invideos(用于視頻動 作識別的雙流卷積網絡)”的文章，該文章提出了雙流模型來實現基于視頻的動作識別。雙 流模型由空間網絡模型和時間網絡模型構成，空間網絡模型以單幀視頻圖像為輸入訓練 CNN模型，描述運動的靜態外表信息；時間網絡模型以密集光流序列為輸入訓練CNN模 型，描述目標者/攝像機的運動。兩個分支的網絡分別對動作的類別作出判斷，最后對兩個 網絡的類別得分通過直接平均或SVM的方式進行融合，得到最終的分類結果。

經檢索還發現，L.Wang等人在2016年的《European conference on computervision，pp. 20–36，(歐洲計算機視覺會議，第20–36頁)》上發表了題為“Temporal segmentnetworks: Towards good practices for deep action recognition(時序分割網絡:走向深度行為識別的良好實 踐)”的文章，該文章提出了一個視頻級的框架TSN，可以基于整段視頻進行行為識別。首 先從整段視頻中稀疏采樣出一系列短的視頻片段，然后每個片段給出其本身對于行為識別 類別的預測，然后從這些片段的“共識”中得到視頻級的預測結果。

實時的異常行為檢測，是針對輸入的監控視頻流，設置一個固定大小的滑窗，在監控視 頻上滑動依次得到一些小片段，然后利用主流方法進行行為識別。若存在異常行為應盡早 發現，因而不能采用計算復雜度過大的算法。而上述框架使用光流捕捉運動信息，作為時 間網絡模型的輸入，而光流需要提前計算，并且非常耗時，因而無法滿足實時性需求。

發明內容

本發明的目的是克服了上述現有技術的缺點，提供了一種滿足實時性好、精準度高、適 用范圍較為廣泛的基于壓縮視頻實現實時異常行為識別的方法、裝置及其計算機可讀存儲介 質。

為了實現上述目的，本發明的基于壓縮視頻實現實時異常行為識別的方法、裝置及其計 算機可讀存儲介質如下：

該基于壓縮視頻實現實時異常行為識別的方法，其主要特點是，所述的方法包括以下步 驟：