[發明專利]基于生成對抗網絡的人群異常檢測方法

在審

• 申請號: 202010588978.X
• 申請日: 2020-06-24
• 公開（公告）號: CN111881750A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 古雪;同磊;肖創柏;段娟
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

本發明公開了基于生成對抗網絡的人群異常檢測方法，通過引入背景去除、多尺度光流結構和自注意力機制來改進GAN，進而預測未來幀，得到了更逼真的未來幀圖像，實現了異常數據的有效檢測。首先，引入背景去除技術，得到了圖像更多的外觀信息；其次，通過多尺度光流來引入時序信息；最后，引入自注意力機制來捕捉圖像的幾何結構和分布。將預測出的異常幀與真實情況進行比對，得到檢測結果。本發明技術具有較高的人群異常檢測精度。本方法克服了傳統方法中只通過重建當前幀來進行建模的局限和GAN生成圖像質量不高問題，用改進后的GAN來預測未來幀，能描繪出更細致逼真的未來幀圖像，提高了人群異常檢測的準確率。

技術領域

本發明屬于信息處理技術領域，涉及一種人群異常檢測方法，尤其涉及一種基于生成對抗網絡的人群異常檢測算法。

背景技術

視頻序列異常事件檢測是計算機視覺中一個重要的研究課題,已被廣泛應用,如人群監控、公共場所檢測、交通安全和個人行為異常。其目的是采用智能監控技術從視頻數據中的絕大多數正常事件中檢測到少量異常事件，并及時發出警報以便于做好相關措施。人群異常事件檢測就是從監控視頻中發現與平常不同的事件，并發出警報。

面對海量的視頻數據,傳統的有監督標記異常事件方法需要耗費大量的人力和物力。因此，無監督的視頻序列異常檢測方法是該領域的研究焦點。雖然關于異常事件檢測的研究在特征提取、行為建模和異常措施等方面已經取得了很大的進展，但是視頻序列異常事件檢測仍然是一個非常具有挑戰性的任務。

首先，異常事件具有不確定性，即沒有精確的定義，不同場景下異常不同。有兩種常見的異常行為識別方法，一種是異常行為模式聚類，不足之處在于沒有足夠的先驗知識來描述異常行為模式；另一種是建立概率模型，將發生率低的檢測樣本作為異常行為，異常行為檢測依賴于正常模式的定義和特征的多尺度變化。其次，擁擠場景中的異常檢測具有挑戰性。需要考慮密集場景中的運動目標的狀態，不僅數目多、運動復雜，目標間還會出現重疊和遮擋。近些年來異常檢測的發展主要分為以下兩方面：

一是基于判別式模型的異常檢測，該方法依據模型提取到的特征對樣本空間進行劃分，從而區分出正常與異常。早期的方法的研究重點是如何提取更為有效的手工特征來對訓練集進行建模，如基于直方圖的特征的方法，該方法能清晰地表示目標某時某刻的空間狀態，但卻不適用與目標間相互遮掩和相互作用的擁擠場景。后來通過運用深度學習中卷積神經網絡(Convolutional Neural Networks，CNN)提取圖像特征用于異常檢測，如使用時空CNN捕獲空間和時間特征，并用邏輯回歸來判別異常，該方法的局限在于很難斷言提取的特征是否完全包含樣本信息。

二是基于生成式模型的異常檢測，該方法對正常訓練樣本的分布進行建模，依據測試樣本與習得分布的距離來檢測異常。早期主流方法包括馬爾可夫隨機場模型、受限玻爾茲曼機模型和深度玻爾茲曼機模型等。這些基于傳統機器學習算法的生成式模型建模能力有限，對正常樣本的重建誤差不夠小，以致于與異常樣本的重建誤差相比區分度較低，進而影響異常檢測效果。

近年來，生成對抗網絡(Generative Adversarial Networks，GAN)由于其能生成逼真的圖像，在很多領域得到了有效的應用。因此，本發明結合GAN思想，提出了一種基于生成對抗網絡的人群異常檢測方法，該方法通過改進的GAN生成更逼真的圖像來進行視頻幀預測，在人群異常檢測上取得了較好的效果。該方法主要涉及3個技術：一是背景去除(Background Removal，BR)，通過計算兩個連續幀之間的幀絕對差來提取運動前景對象特征，將背景去除后的圖像和原圖像聯合得到更多的外觀信息；二是多尺度光流(Muti-scaleOptical Flow，MOF)，通過引入光流結構來引入時序信息；三是自注意力機制(Self-Attention，SA)，引入該機制能效捕捉圖像的幾何結構和分布。利用上述3個技術輔助GAN，能描繪出更細致逼真的圖像。其結果表明，基于生成對抗網絡的人群異常檢測方法在一定程度上提升了檢測精度。

發明內容