[發明專利]基于機器視覺的多人異常行為檢測與識別方法

有效

• 申請號: 201811178434.5
• 申請日: 2018-10-10
• 公開（公告）號: CN109522793B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 田聯房;吳啟超;杜啟亮
• 申請（專利權）人: 華南理工大學;華南理工大學珠海現代產業創新研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于機器視覺的多人異常行為檢測與識別方法，包括步驟：1)扶梯區域視頻圖像采集；2)提取梯度方向直方圖HOG特征并利用Adaboost分類器對手扶電梯乘客人臉進行檢測；3)利用卡爾曼濾波器對手扶電梯乘客人臉進行跟蹤；4)利用OpenPose深度學習網絡從圖像中提取乘客骨架特征；5)基于乘客人臉相對位置對乘客進行遮擋判斷，乘客發生遮擋時，基于運動特征對乘客進行異常行為檢測，乘客沒有遮擋時，基于骨架特征對乘客進行異常行為檢測，并進一步利用時空圖卷積模型識別異常行為的種類。通過本發明可以對扶梯上的多乘客目標進行跟蹤，端到端、準確、實時地對扶梯上的多位乘客進行異常行為檢測與識別。

技術領域

本發明涉及圖像處理及行為識別的技術領域，尤其是指一種基于機器視覺的多人異常行為檢測與識別方法。

背景技術

智能視頻監控系統相對于人工監控，具有穩定可靠、廉價實用的特點，人工監控需要人力成本且監控效果不穩定，容易受人的狀態影響，而智能視頻監控系統可利用機器進行自動監控，節省人力成本且監控效果穩定，因此，應用智能視頻監控系統對手扶電梯中的多位乘客進行異常行為檢測，若發現異常行為，識別異常行為的種類，根據異常行為的危險等級控制扶梯的運行狀態，及時制止安全事故的發生，具有重要意義，吸引眾多學者對此進行相關研究。

目前為止，國內針對手扶梯電梯應用場景的多人異常行為檢測與識別方法研究較少，因此，發明一種基于機器視覺的多人異常行為檢測與識別方法，通過安裝在手扶電梯樓層板正上方的攝像頭，利用訓練得到的Adaboost人臉分類器從輸入圖像中實時準確地檢測手扶電梯區域中的乘客人臉，再通過卡爾曼濾波器對乘客人臉進行跟蹤得到乘客的運動特征，利用OpenPose深度學習網絡從圖像中提取乘客骨架特征，最后，對乘客進行遮擋判斷，若乘客發生遮擋，則基于運動特征對乘客進行異常行為檢測，若乘客乘客沒有遮擋，則基于骨架特征對乘客進行異常行為檢測，并進一步利用時空圖卷積模型識別異常行為的種類。

綜合以上所述，利用機器學習和深度學習知識，來實現手扶電梯多人異常行為檢測與識別，及時避免安全事故的發生，具有較高的社會價值和實際意義。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種基于機器視覺的多人異常行為檢測與識別方法，對扶梯上的多乘客目標進行跟蹤，端到端、準確、實時地對扶梯上的多位乘客進行異常行為檢測與識別。

為實現上述目的，本發明所提供的技術方案為：基于機器視覺的多人異常行為檢測與識別方法，包括以下步驟：

1)扶梯區域視頻圖像采集；

2)提取梯度方向直方圖(Histogram of Oriented Gradient,HOG)特征并利用Adaboost分類器對手扶電梯乘客人臉進行檢測；

3)利用卡爾曼濾波器對手扶電梯乘客人臉進行跟蹤；

4)利用OpenPose深度學習網絡從圖像中提取乘客骨架特征；

5)基于乘客人臉相對位置對乘客進行遮擋判斷；當乘客發生遮擋時，基于運動特征對乘客進行異常行為檢測；當乘客沒有遮擋時，基于骨架特征對乘客進行異常行為檢測，并進一步利用時空圖卷積模型識別異常行為的種類。

在步驟1)中，采用1280*720圖像分辨率大小的廣角攝像頭以斜上方往下的角度拍攝扶梯區域，采集監控視頻圖像，為了能夠拍攝乘客人臉，使攝像頭光軸與扶梯扶手帶平行，拍攝角度覆蓋整個扶梯運行區域，得到略帶俯視角度的乘客人臉清晰圖像。

在步驟2)中，提取HOG特征并利用Adaboost分類器對手扶電梯乘客人臉進行檢測，包括以下步驟：

2.1)標準化顏色空間

對每個顏色通道進行平方根Gamma壓縮，RGB和LAB顏色空間的結果相似，但如果使用灰度空間，會有性能下降，Gamma壓縮公式為：