[發明專利]一種基于深度學習雙流網絡的攀爬行為檢測方法及系統

在審

• 申請號: 202110448771.7
• 申請日: 2021-04-25
• 公開（公告）號: CN113052139A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 張泉;趙曼;劉海峰;任廣鑫;張明;季坤;吳迪;甄超;王坤;王劉芳;鄭浩
• 申請（專利權）人: 合肥中科類腦智能技術有限公司;國網安徽省電力有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/269;G06N3/08
• 代理公司: 合肥昊晟德專利代理事務所(普通合伙) 34153
• 代理人: 何梓秋

本發明公開了一種基于深度學習雙流網絡的攀爬行為檢測方法及系統，屬于機器視覺對行為識別技術領域，包括以下步驟：S1：目標檢測、跟蹤并編號；S2：裁剪目標視頻片段；S3：隨機采樣；S4：動作分類。本發明通過學習得到的分類網絡具有很好的魯棒性，在不同光照、不同天氣下也能精準分類，實現復雜條件下的多人行為檢測；并對視頻進行裁剪，去掉多余的背景信息大幅提高了算法執行效率，利用行人跟蹤隨機采樣的方法使檢測效率得到有效提升，值得被推廣使用。

技術領域

本發明涉及機器視覺對行為識別技術領域，具體涉及一種基于深度學習雙流網絡的攀爬行為檢測方法及系統。

背景技術

攀爬行為檢測是智能視頻監控領域中的一個重要模塊，廣泛應用于公共場所的視頻監控系統中。攀爬行為檢測及時發現人員攀爬圍欄圍墻行為，自動的發出對應的警告或通知，減少安防人力資源的投入。攀爬行為識別主要解決兩個問題，一是檢測問題，使用檢測器檢圖像中是否有人；二是識別問題，對人的運動特征進行提取，通過分類器識別出人的行為。

目前人員攀爬行為檢測利用行為識別的方法，根據人體輪廓剪影計算出人體星形骨架特征，然后將骨架特征分類成為行走、攀爬、跨越、下降4種狀態，當攀爬、跨越、下降3種狀態連續出現的時候，則認為發生了人員翻越圍墻的行為。這種方法比較理想，也只能用在僅有一個人的理想環境，在實際應用環境中效果很差。有的利用傳統視覺方法提取人的行為特征，用HMM或貝葉斯網絡對特征進行建模分類，但是這種方式同樣會面臨目標遮擋嚴重、手工設計的行為特征難以提取的問題。也有對運動物體計算光流，然后用HMM或貝葉斯網絡對光流進行建模并用分類器進行分析，進而檢測一些異常行為，這種全局性的特征適合分析遮擋嚴重的情況，可以進行借鑒，但是使用光流計算復雜度高，難以做到實時處理。因此，提出一種基于深度學習雙流網絡的攀爬行為檢測方法。

發明內容

本發明所要解決的技術問題在于：如何解決人員攀爬行為檢測利用行為識別方法存在的應用效果差、計算復雜度高等問題，提供了一種基于深度學習雙流網絡的攀爬行為檢測方法。

本發明是通過以下技術方案解決上述技術問題的，本發明包括以下步驟：

S1：目標檢測、跟蹤并編號

使用目標檢測網絡對原始視頻進行行人檢測，得到行人的檢測框；利用檢測框和視頻的時序信息進行跟蹤，得到目標編號；

S2：裁剪目標視頻片段

根據檢測框和目標編號，對原始視頻進行裁剪，去除檢測框外區域，把每個編號的行人重新保存成一個視頻片段；

S3：隨機采樣

針對步驟S2中的每個視頻片段，每設定幀數隨機采樣設定采樣幀數，使用稠密光流法計算得到采樣幀每個像素的光流信息；

S4：動作分類

將各采樣幀的彩色圖像和光流信息送入攀爬二分類雙流網絡，對設定幀數進行分類，確定是否存在攀爬行為。

更進一步地，在所述步驟S1中，所采用的目標檢測網絡為YOLO網絡，通過YOLO網絡同時對視頻中多個行人目標進行，用矩形包圍框的形式框選出每個行人目標的輪廓區域，作為后續處理候選區域。

更進一步地，所述步驟S2的具體過程為：

S21：對步驟S1所得候選區域進行裁剪，以每個區域矩形包圍框長或寬的最大值為邊長，矩形框的中心點為裁剪中心，裁剪出一個正方形區域，然后調整圖像尺寸到設定尺寸；

S22：根據步驟S1所得行人編號，為每個人建立大小為30的圖像緩沖池，將調整尺寸后的圖像放入緩沖池中，當圖像緩沖達到30張時，進行步驟S3。