[發明專利]一種基于人體骨架的行人異常行為檢測方法

在審

• 申請號: 202010345247.2
• 申請日: 2020-04-27
• 公開（公告）號: CN111582092A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 吳曉軍;袁佳興;原盛
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 賀小停

本發明提供的一種基于人體骨架的行人異常行為檢測方法，包括以下步驟：步驟1，對圖像進行行人檢測，并利用檢測框進行框定，得到行人檢測框；步驟2，從步驟1中得到的行人檢測框中提取人體骨架信息，得到人體骨架信息圖片，并對該圖片進行去除背景預處理；步驟3，利用基于殘差的多尺度信息融合識別網絡對步驟2中的預處理后的人體骨架信息圖片進行行人異常行為檢測，得到一個四維向量，分別對應人體異常行為的四類動作；本發明有效利用骨架信息以及多尺度信息，大大提升了算法的檢測準確率、增強了算法的魯棒性，使其應用不受場景約束。

技術領域

本發明屬于智能視頻監控領域，具體涉及一種基于人體骨架的行人異常行為檢測方法。

背景技術

近年來隨著計算機技術的發展和安防需求的增加，智能視頻監控越來越成為計算機視覺領域研究的熱點,它與傳統意義上的監控系統在智能性上有很大的不同。傳統的監控系統采用攝像頭記錄，人作為主體去進行視頻內容的監視識別，這種方式不僅耗費大量的人力、物力，還存在一個很嚴重的問題：人在長時間從事同一項工作時會很容易疲勞并忽略一些細節的信息。智能視頻監控系統通過機器學習或深度學習等算法賦予了機器自主決策的能力，計算機在監控的同時能智能識別監控畫面中的內容，協助甚至代替人完成監控任務，從而可以減輕工作人員的負擔。當在公共區域發生一些異常行為，例如打架斗毆、奔跑、跌倒時，如果能夠對特定行為進行實時檢測識別，從而被及時發現并報警制止，便能夠很大程度上降低受傷害的可能性，是一種非常有效的安全措施。

目前主流的人體行為識別算法大致分為三類：基于雙流法的行為識別算法、結合LSTM的行為識別算法以及基于3D卷積的行為識別算法。其中基于雙流法的行為識別算法包含兩個網絡分支，其中一個網絡分支輸入為單幀圖像，通過提取圖像中的特征信息從而得到空間域信息，另外一個網絡分支輸入為視頻中的某一幀以及其后面的n幀圖像，通過堆疊連續幀生成光流場來負責處理視頻中的光流信息，最后將兩個網絡的輸出進行融合得到識別結果。結合LSTM的行為識別算法中，首先通過卷積神經網絡提取輸入圖像的空間特征，然后將得到的特征圖像作為LSTM網絡的輸入，進而提取行為中的時序特征來進行預測。基于3D卷積的行為識別算法中，對普通2D卷積核進行了改進，擴充到三維，增加的維度來負責處理時間域的信息。與雙流法中光流場計算類似，3D卷積也是通過將多個連續幀堆疊組成立方體，然后在組成的立方體中使用3D卷積核進行運算。

雖然這類算法在特定條件下可以較為準確地檢測出運動物體以及其運動信息，但是存在較大的局限性，其對于場景條件的要求極其苛刻以至于在實際部署中是不適用的。主要體現在以下兩個方面：

一是算法對場景的要求極高，場景和亮度均不能發生變化。所識別的場景或者亮度發生變化時，這類算法可能會將背景誤認為前景，即運動物體，去進行錯誤的識別，會對算法性能產生較大的影響，導致誤判率大大增高。光流場其實并不能反映物體的真實運動，當光源發生變化時，物體由于光照的位移其影子發生了變化，產生了光流，會誤判物體發生了運動。但是實際情況是物體并沒有移動，只是光源發生了變化。由此可以看出，光流法對于光線太過敏感，亮度、場景的變化會對識別造成較大影響。

二是光流法假設的前提是物體發生的是小幅度的運動，即在一定的時間范圍內，運動物體不會發生劇烈的位置變化，相鄰幀之間運動物體的位移要比較小。但是在實際情況中，比如人的跑動、打斗、跌倒等這些行為是幅度很大的一些行為，對此傳統的光流法是不適用的。

在實際應用中，對行人行為的檢測場景是極其復雜的，場景中可能有很多噪聲的影響；而且亮度隨著晝夜、陰晴的交替更是不可能不變的；所以這類算法在實際應用中準確率不高，魯棒性太差，嚴重影響了模型實際部署的效果。

發明內容

本發明的目的在于提供一種基于人體骨架的行人異常行為檢測方法，解決了現有技術中存在的準確率低、魯棒性差的缺陷。

為了達到上述目的，本發明采用的技術方案是：

本發明提供的一種基于人體骨架的行人異常行為檢測方法，包括以下步驟：