[發明專利]一種基于視覺感知的異常事件檢測方法及系統

有效

• 申請號: 202010732380.3
• 申請日: 2020-07-27
• 公開（公告）號: CN111967340B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 葉宇陽;魏龍生;喻學孚;羅大鵬
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/52;G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/0442
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 孔燦

1.一種基于視覺感知的異常事件檢測方法，用于檢測異常行為發生的位置，其特征在于：包括以下步驟：

S1、實時獲取待檢測現場的監控視頻，并提取所述待檢測現場的監控視頻的視頻幀；

S2、將當前時刻的視頻幀輸入到YOLOv3網絡模型中，獲取當前時刻的視頻幀的視頻特征，并檢測出所述當前時刻的視頻幀中每一個目標所在的位置，用矩形框將所述位置框出；其中，一個矩形框將一個目標所在的位置框出；

S3、將步驟S2中框出目標位置的矩形框均提取出來，并對每個矩形框中對應的目標分別進行人體姿態估計，獲得當前時刻的視頻幀中每個目標的骨骼信息；

S4、將步驟S3中所述骨骼信息輸入到訓練好的VGG19網絡模型中，獲得當前時刻的視頻幀中每個目標的骨骼特征；

S5、將步驟S4中所述骨骼特征輸入到雙向長短時記憶網絡中，獲得當前時刻的視頻幀中每個目標的骨骼特征編碼向量；

S6、將前一時刻的視頻幀中解碼LSTM輸出的時間狀態與步驟S5中所述骨骼特征編碼向量輸入到注意機制中，獲得當前時刻的視頻幀中注意系數和骨骼注意融合特征；具體的，獲得所述當前時刻的視頻幀中骨骼注意融合特征的步驟如下：

S61、計算出當前時刻的視頻幀中第i個目標的骨骼特征編碼向量與前一時刻的視頻幀中的時間狀態之間的相關系數e_ti，計算公式如公式(1)：

e_ti＝φ(h_t-1,m_ti)＝V^T×tanh(W_ah_t-1+W_bm_ti)(1)

其中，t表示當前時刻，t-1表示前一時刻，i表示目標的序號，i∈{1,2,...,s}，s表示目標的總數，φ表示一個全連接網絡層，h_t-1表示前一時刻的視頻幀的時間狀態，m_ti表示當前時刻的頻幀中第i個目標的骨骼特征編碼向量，W_a表示全連接網絡層中h_t-1的權重矩陣，W_b表示全連接網絡層中m_ti的權重矩陣，V^T表示全連接網絡層中用來融合h_t-1和m_ti的權重矩陣，tanh為激活函數；

S62、將相關系數e_ti輸入softmax層，進行歸一化操作，計算出當前時刻的視頻幀中的第i個目標的注意系數a_ti，計算公式如公式(2)：

其中，0≤a_ti≤1，表示所有目標的注意系數之和為1；

S63、基于當前時刻的視頻幀中第i個目標的骨骼特征編碼向量m_ti和當前時刻的視頻幀中第i個目標的注意系數a_ti，計算出當前時刻的視頻幀中骨骼注意融合特征，計算公式如公式(3)：

其中，f_t表示當前時刻的視頻幀中骨骼注意融合特征；

S7、將當前時刻的視頻幀輸入到基于初級視皮層V1區的層級模型中，分別模擬視皮層中簡單細胞層和復雜細胞層，獲得當前時刻的視頻幀中每個目標的生物激勵的視覺顯著性特征；所述基于初級視皮層V1區的層級模型包含兩層層級結構的不變特征提取模型；

S8、將步驟S6中所述骨骼注意融合特征和步驟S7中所述視覺顯著性特征輸入到特征融合層進行融合，獲得當前時刻的視頻幀中的融合特征，基于所述融合特征，獲得當前時刻的視頻幀中的異常行為分類結果；

S9、基于步驟S6中所述注意系數和步驟S8中所述異常行為分類結果，獲得當前時刻的視頻幀中分析異常行為時注意系數最大的目標序號，從而獲得當前時刻的視頻幀中異常行為發生的位置。

2.如權利要求1所述的一種基于視覺感知的異常事件檢測方法，其特征在于：在步驟S3中，采用openpose模型對每個矩形框中對應的目標分別進行人體姿態估計。