[發明專利]一種基于視覺感知的異常事件檢測方法及系統

有效

• 申請號: 202010732380.3
• 申請日: 2020-07-27
• 公開（公告）號: CN111967340B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 葉宇陽;魏龍生;喻學孚;羅大鵬
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/52;G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/0442
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孔燦

本發明提供了一種基于視覺感知的異常事件檢測方法及系統。實時獲取待檢測場景監控視頻的視頻幀和視頻特征，并檢測出視頻幀中每一個目標的位置，用矩形框將所述位置框出；獲得每個目標的骨骼信息、骨骼特征以及骨骼特征編碼向量；獲得骨骼注意融合特征和目標的生物激勵的視覺顯著性特征；將骨骼流注意融合特征和目標的生物激勵的視覺顯著性特征進行融合，獲得融合特征，基于融合特征，獲得異常行為分類結果；基于注意機制產生的注意系數和異常行為分類結果，獲得產生異常行為的目標序號，從而獲得異常行為發生的位置。本發明能夠篩選出和異常事件最相關的人或區域用于事件檢測，排除復雜場景下的各種干擾，提升異常事件的檢測精度。

技術領域

本發明涉及視頻監控領域，尤其涉及一種基于視覺感知的異常事件檢測方法及系統。

背景技術

隨著人們生活水平逐漸提高，人們對生活質量的要求也越來越高，因此安全問題越來越受到政府部門、企事業單位的密切關注。廣大人民群眾的安全意識也進一步提高，這就需要相關部門提供更完善的安全保障系統用以實時監測交通、社區等場景的狀況，檢測出一些異常行為現象并發出報警從而有效維護交通秩序、社區治安、人身安全，控制事態進一步惡化，讓相關部門及工作人員及時了解到事故現場的狀況并迅速采取相應的應急補救措施。然而傳統的視頻監控系統只具備一些簡單的監控、視頻存儲、視頻回放等功能，監控的過程中往往需要工作人員在旁邊進行全天實時連續看守，由于人的注意力集中時間具有間斷性并且會因為長時間大腦的高度集中而造成疲勞，這樣就不可避免的會出現漏檢、誤檢的情況。另一方面由于現在監控系統的普及覆蓋面的廣泛，其布局規模會成倍的增長，同時一個大型的多屏幕監控室中往往需要更多的工作人員去進行實時的看守工作才能提高其監測效率，這樣就會導致人力資源成本的驟增。系統的回放功能也主要是用來進行視頻的保存以及后續進行一些人工的取證分析，缺乏現場性，并不能做到有效及時的報警。由此可見傳統的監控系統存在很多的弊端。因此將計算機視覺技術應用到視頻監控領域形成的視頻智能監控系統是視頻監控系統必然的發展趨勢。

在監控場景下，異常事件的發生常常是隨機的，位置時間不固定，并且具有稀疏性，一天中可能只有很小的時間段存在異常事件，同時具有集中性，多目標場景中異常事件往往集中于極小部分人、物或者區域。

發明內容

為了解決上述問題，本發明提供了一種基于視覺感知的異常事件檢測方法，主要包括以下步驟：

S1、實時獲取待檢測現場的監控視頻，并提取所述待檢測現場的監控視頻的視頻幀；

S2、將當前時刻的視頻幀輸入到YOLOv3網絡模型中，獲取當前時刻的視頻幀的視頻特征，并檢測出所述當前時刻的視頻幀中每一個目標所在的位置，用矩形框將所述位置框出；其中，一個矩形框將一個目標所在的位置框出；

S3、將步驟S2中框出目標位置的矩形框均提取出來，并對每個矩形框中對應的目標分別進行人體姿態估計，獲得當前時刻的視頻幀中每個目標的骨骼信息；

S4、將步驟S3中所述骨骼信息輸入到訓練好的VGG19網絡模型中，獲得當前時刻的視頻幀中每個目標的骨骼特征；

S5、將步驟S4中所述骨骼特征輸入到雙向長短時記憶網絡中，獲得當前時刻的視頻幀中每個目標的骨骼特征編碼向量；

S6、將前一時刻的視頻幀中解碼LSTM輸出的時間狀態與步驟S5中所述骨骼特征編碼向量輸入到注意機制中，獲得當前時刻的視頻幀中注意系數和骨骼注意融合特征；

S7、將當前時刻的視頻幀輸入到基于初級視皮層V1區的層級模型中，分別模擬視皮層中簡單細胞層和復雜細胞層，獲得當前時刻的視頻幀中每個目標的生物激勵的視覺顯著性特征；所述基于初級視皮層V1區的層級模型包含兩層層級結構的不變特征提取模型；

S8、將步驟S6中所述骨骼注意融合特征和步驟S7中所述視覺顯著性特征輸入到特征融合層進行融合，獲得當前時刻的視頻幀中的融合特征，基于所述融合特征，獲得當前時刻的視頻幀中的異常行為分類結果；