[發明專利]基于雙向回顧生成對抗網絡的視頻異常事件檢測方法

在審

• 申請號: 202010878108.6
• 申請日: 2020-08-27
• 公開（公告）號: CN112052763A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 劉靜;楊智偉
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明提出了一種基于雙向回顧生成對抗網絡的視頻異常事件檢測方法，解決了現有技術沒有利用視頻幀序列之間的反向映射關系以及沒有從視頻幀序列長期時序一致性的角度進行運動約束，導致對視頻中異常事件檢測精度不足的問題。實現步驟為：構建了一個由生成器、幀判別器和序列判別器組成的生成對抗網絡，在訓練時，采用前向和后向預測并聯合回顧性預測的雙向回顧的方式，通過生成器、幀判別器和序列判別器的交替更新對生成對抗網絡進行訓練，得到一個能準確預測視頻中正常事件將來幀圖像而無法準確預測視頻中異常事件將來幀圖像的生成器，從而根據預測誤差來檢測是否發生異常事件。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及計算機視覺技術領域中的一種基于雙向回顧生成對抗網絡的視頻異常事件檢測方法。本發明可用于對視頻監控圖像中的異常事件進行檢測。

背景技術

近年來，智能安防逐漸得到人們的重視，尤其是對視頻監控中的異常事件進行自動檢測。這對提高公共場所異常事件的響應和處理效率，維護公共安全、減少財產損失發揮著至關重要的作用。目前，對視頻監控中的異常事件進行檢測主要有兩種方法：一種方法是通過學習正常行為的視頻數據來構建一個能夠重構當前視頻幀圖像的模型，比如稀疏字典，自編碼器等，訓練好的重構模型能較好的重構出正常事件的當前幀圖像，而對于異常事件，重構的當前幀圖像則會出現較大的重構誤差，依據此誤差來進行異常事件檢測。但因為重構模型具有較大的容錯能力，有時對異常幀圖像也能較好的重構，從而導致檢測精度較低。另一種方法是通過學習正常行為的視頻數據來構建一個能夠預測將來幀圖像的模型，該模型能較好的預測出正常事件的將來幀圖像，而異常事件因為具有不可預測性，模型預測的將來幀圖像與真實幀圖像之間會產生較大的誤差，根據此誤差即可檢測是否發生異常事件。

Wen Liu在其發表的論文“Future Frame Prediction for Anomaly Detection–ANew Baseline.”(Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR),2018,pp.6536-6545)中提出一種基于將來幀預測的視頻異常檢測方法。該方法采用Unet作為預測網絡來預測視頻數據的將來幀，在訓練預測網絡時，根據前四幀圖像來前向預測將來幀圖像，通過最小化預測的將來幀圖像與真實將來幀之圖像間的梯度損失與強度損失來對預測的將來幀圖像進行外觀約束，通過最小化預測的將來幀圖像與真實將來幀圖像之間的光流損失來進行運動約束，并聯合生成對抗網絡來優化模型。該方法不僅對預測的將來幀圖像的外觀進行了約束，還通過提取光流來對預測的將來幀圖像進行運動約束，能更好地預測出正常視頻的將來幀圖像，而異常視頻因為具有不可預測性，預測的將來幀圖像與真實將來幀圖像之間會產生較大的誤差，從而提升異常事件的檢測效果。但是，該方法仍然存在的不足之處是，在訓練時只進行了前向預測，沒有利用視頻幀序列之間的反向映射關系，導致預測的正常事件的將來幀圖像的預測效果不足，另外，通過提取光流進行運動約束的方式只對預測的將來幀圖像和前一幀圖像之間進行了運動約束，沒有從視頻幀序列長期時序一致性的角度對預測的將來幀圖像進行運動約束，使得對預測的正常事件的將來幀圖像的運動約束不足，預測的正常事件的將來幀圖像也出現了較大誤差，降低了預測網絡區分正常事件和異常事件模式的能力，從而降低了視頻異常檢測效果。