[發明專利]基于機器視覺的多人異常行為檢測與識別方法

有效

• 申請號: 201811178434.5
• 申請日: 2018-10-10
• 公開（公告）號: CN109522793B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 田聯房;吳啟超;杜啟亮
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于機器視覺的多人異常行為檢測與識別方法，其特征在于：該方法對手扶電梯多乘客目標進行異常行為檢測，識別異常行為的種類，包括以下步驟：

1)扶梯區域視頻圖像采集；

2)提取梯度方向直方圖HOG特征并利用Adaboost分類器對手扶電梯乘客人臉進行檢測；

3)利用卡爾曼濾波器對手扶電梯乘客人臉進行跟蹤；

4)利用OpenPose深度學習網絡從圖像中提取乘客骨架特征；

5)基于乘客人臉相對位置對乘客進行遮擋判斷，當乘客發生遮擋時，基于運動特征對乘客進行異常行為檢測，當乘客沒有遮擋時，基于骨架特征對乘客進行異常行為檢測，并進一步利用時空圖卷積模型識別異常行為的種類，具體如下：

乘客在搭乘扶梯的過程中，由于相互之間的位置過于靠近會出現擁擠情況，而攝像頭的拍攝角度是由近到遠對扶梯區域進行拍攝，與攝像頭距離近的乘客會遮擋與攝像頭距離遠的乘客，導致被遮擋的乘客缺失部分骨架，缺失的骨架不能很好地描述乘客的行為，很容易導致異常行為誤檢，因此，需要對乘客進行遮擋判斷，若乘客發生遮擋，則基于乘客的運動特征進行異常行為檢測，若乘客沒有發生遮擋，則基于乘客的骨架特征進行異常行為檢測，進行乘客遮擋判斷時，對該乘客分別計算其與周圍乘客的距離dist，若該距離小于自適應遮擋閾值T_dist，T_dist為：

T_dist＝(W₁+W₂)*0.6

其中，W₁和W₂分別為兩位乘客的人臉跟蹤框的寬度，且該乘客人臉中心點的縱坐標小于另一位乘客人臉中心點的縱坐標，則判斷該乘客被另一位乘客遮擋；

當乘客發生遮擋時，基于運動特征對乘客進行異常行為檢測，具體如下：

乘客的運動特征是由乘客的速度大小和速度方向組成，考慮到乘客人臉部位不容易發生遮擋，所以計算乘客運動速度時是基于乘客的人臉位置進行計算的，當骨架提取完整時，完整的骨架相對于乘客的運動特征能夠更好地描述乘客的行為，當骨架提取不完整時，不完整的骨架容易發生異常行為誤檢，運動特征相對于骨架特征能夠更好地描述乘客的行為，因此，當乘客發生遮擋時，利用乘客的運動特征進行乘客異常行為檢測，設每隔t幀計算乘客的運動速度，第l幀人臉框中心為P_l＝(x_l,y_l)，人臉框面積為S_l，x_l為中心橫坐標，y_l為中心縱坐標，幀率為fps，則運動速度v_l、速度大小|v_l|、速度方向θ_l分別為：

v_l＝P_l-P_l-t＝(x_l-x_l-t,y_l-y_l-t)

乘客搭乘扶梯時的正常狀態是站立在扶梯上，速度與扶梯運行速度一致，即乘客速度大小和速度方向均和扶梯的運行速度大小和方向相同，若乘客在連續幾幀時間內速度大小和速度方向超出正常范圍，即乘客的速度大小和速度方向滿足以下條件：

其中，為校正后的乘客運動速度，T_v為正常狀態時的最大運動速度閾值，T_θ1為正常狀態時的最小運動方向閾值，T_θ2為正常狀態時的最大運動方向閾值，因為攝像頭拍攝近處物體的成像會比遠處物體的成像大，導致越靠近攝像頭，乘客在圖像中計算得到的運動速度越大，需要除以乘客人臉的面積對速度大小進行校正，若乘客的運動速度大小和方向連續T_l幀滿足上述條件，則檢測到該乘客發生異常行為；

當乘客沒有遮擋時，基于骨架特征對乘客進行異常行為檢測，并進一步利用時空圖卷積模型識別異常行為的種類，具體如下：

乘客搭乘扶梯時的正常狀態是雙手垂下，放在身體兩側，雙腿站立在扶梯上，頭朝前方，身體正面朝向攝像頭，而異常行為一般具有大幅度的動作特征，與正常行為相比具有明顯的差異，因此，根據乘客正常狀態的行為特點，選取20個處于正常行為狀態的乘客的人體骨架，作為正常行為模板，選取的正常行為模板能夠體現正常狀態時乘客行為的各種小幅度變化，使得制作的模板更具泛化性，能容忍乘客行為的正常幅度改變，分別與每一幀圖像中提取得到的乘客人體骨架進行基于歐式距離的模板匹配，判斷是否為異常骨架，為了適應由于乘客距離攝像頭遠近和乘客體型差異造成的成像大小變化，進行模板匹配的時候，分別提取模板骨架和乘客骨架的人體姿態特征向量，然后計算兩個向量的歐氏距離得到兩者的匹配相似度，計算骨架的人體姿態特征向量時，將人體骨架的13段人體骨骼看作是包含13個元素的特征J，每個元素是一個二維向量：

J＝{J¹,J²,…,J^m,…,J¹³}

其中J^m為由首端關節點B^m與尾端關節點E^m相互連接而成的第m段骨骼，骨骼向量的首端坐標為為首端橫坐標，為首端縱坐標，尾端坐標為為尾端橫坐標，為尾端縱坐標，水平方向角度為α^m，豎直方向角度為β^m，骨骼向量表示為水平方向余弦值和豎直方向余弦值分別為：

13段骨骼分別計算其水平方向余弦值和豎直方向余弦值，然后按骨骼排列順序依次連接得到一個26維的特征向量{cosα¹,cosβ¹,…,cosα¹³,cosβ¹³}作為人體姿態特征向量，進而計算待匹配骨架SK_D和模板骨架SK_T的匹配相似度O(SK_D,SK_T)為：

其中，是待匹配骨架第i段骨骼的水平和豎直方向余弦值，為模板骨架第i段骨骼的水平和豎直方向余弦值，若乘客的骨架與所有模板骨架的匹配相似度均小于正常閾值，則判斷該乘客骨架為異常骨架，若乘客骨架連續T_l幀被判斷為異常骨架，則檢測到該乘客發生異常行為；

若基于骨架特征檢測到乘客發生異常行為，則將乘客的異常骨架按時間順序組合得到異常骨架序列，輸入到時空圖卷積模型，識別異常行為的種類，時空圖卷積模型用于人類行為識別，基于人體關節點位置的時間序列對動態骨骼進行建模，在二維或三維坐標形式下，動態骨骼模態能夠自然地由人類關節位置的時間序列表示，然后，通過分析其動作模式能夠做到人類行為識別，使用關節點的位置信息沒有利用骨骼空間信息，需要連通骨骼，通過將圖卷積網絡擴展到時空圖模型，設計用于行為識別的骨骼序列通用表示，得到時空圖卷積網絡，圖中存在兩種類型的邊，即符合關節的自然連接的空間邊和在連續的時間步驟中連接相同關節的時間邊，在此基礎上構建多層的時空圖卷積，它允許信息沿著空間和時間兩個維度進行整合，圖卷積模型為圖結構數據的處理提供了一個嶄新的思路，將深度學習中常用于圖像的卷積神經網絡應用到圖數據上，圖上的卷積網絡的卷積方式采用空間域卷積，是卷積神經網絡泛化到任意結構圖形而得到，給定二維或三維坐標系下的身體關節序列，就能構造一個時空圖，其中，人體關節對應圖的節點，人體身體結構的連通性和時間上的連通性對應圖的兩類邊，因此，時空圖卷積模型的輸入是圖節點的聯合坐標向量，對輸入數據應用多層的時空圖卷積操作，能夠生成更高級別的特征圖，然后，它將被標準的SoftMax分類器分類到相應的動作類別，經觀察，乘客搭乘扶梯時，發生的異常行為主要有向前摔倒、向后摔倒、攀爬扶手帶、往扶梯外探頭和往扶梯外探手五種異常行為，其他種類的異常行為都能夠歸類到上述五種行為之中，因此，識別的動作類別包括向前摔倒、向后摔倒、攀爬扶手帶、往扶梯外探頭和往扶梯外探手五種異常行為。