[發明專利]一種基于深度相機的人體行為識別方法

在審

• 申請號: 201710916303.1
• 申請日: 2017-09-30
• 公開（公告）號: CN107742097A
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 涂宏斌;周翔;楊輝;田煒;周繼輝;彭日光;肖玉飛;張豐
• 申請（專利權）人: 長沙湘計海盾科技有限公司;長城信息產業股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;H04N13/243;H04N7/18
• 代理公司: 長沙市融智專利事務所43114
• 代理人: 楊萍

1.一種基于深度相機的人體行為識別方法，其特征在于，包括以下步驟：

步驟1、通過安裝在公共區域不同位置的多個深度相機采集公共區域內的點云數據；

步驟2、對多個深度相機采集的點云數據進行三維重建，獲得重建后的監控圖像序列；

步驟3、首先提取監控圖像序列中的人體圖像，得到人體圖像序列；然后提取每一幀人體圖像中的人體面部輪廓、上肢輪廓和下肢輪廓；最后根據劃分的時間窗口，并計算每個時間窗口中人體面部輪廓、上肢輪廓和下肢輪廓在y-z平面、x-z平面和x-y平面的投影面積；

步驟4、根據前后時間窗口內人體面部輪廓、上肢輪廓和下肢輪廓在各平面的投影面積的變化情況，粗略判定人體行為類別，并在人體圖像序列中將投影面積發生變化的時間窗口內的圖像幀提取出來；

步驟5、通過分析提取出的圖像幀中相關關節點之間的相對速度和相對加速度是否符合步驟4中粗略判定的行為類別的特征，精準判定是否為此類行為；具體包括以下步驟：

5.1)由深度相機采集的深度圖像序列獲取人體關節點的運動軌跡；

5.2)分析提取出的圖像幀中相關關節點之間的相對速度和相對加速度是否符合步驟4中粗略判定的行為類別的特征，精準判定是否為此類行為；

圖像幀中關節點之間的相對速度和相對加速度計算公式如下：

其中，t_i為該圖像幀采集的時刻；n為該圖像幀采集的時刻所在的時間窗口采集的圖像總幀數；f_p′(t_i)和f_q′(t_i)分別表示關節點p和q的運動軌跡f_p(t)和f_q(t)在t_i時刻的一階導數，即關節點p和q在t_i時刻的速度；f_p″(t_i)和f_q″(t_i)分別表示關節點p和q的運動軌跡f_p(t)和f_q(t)在t_i時刻的二階導數，即關節點p和q在t_i時刻的加速度；Δv_p,q和Δa_p,q表示通過加權處理后的關節點p和q的相對速度和相對加速度；

所述步驟4中，5種典型人體行為及其相應的特征為：

跳躍：Δv_{左膝，右膝}和Δv_{左踝關節，右踝關節}均大于閾值t1，Δa_{左膝，右膝}大于閾值t2；

奔跑：Δv_{左踝關節，右踝關節}、Δv_{左膝，右髖部}和Δv_{左膝，右膝}均大于閾值t3，Δa_{左膝，右膝}大于閾值t4；

步行：Δv_{左膝，左踝關節}、Δv_{右髖關節，左踝關節}和Δv_{右膝，右踝關節}均大于閾值t5；

跳躍：Δv_{左踝關節，左髖關節}、Δv_{右踝關節，左膝}、Δv_{右膝，左踝關節}、Δv_{左膝，左踝關節}和Δv_{右膝，右踝關節}均大于閾值t6，Δa_{左膝，右膝}大于閾值t7；

拳擊：Δv_{左踝關節，右踝關節}、Δv_{右踝關節，右膝}、Δv_{左膝，左踝關節}和Δv_{左膝，右踝關節}均大于閾值t8，Δa_{左手，左肘}、Δa_{右手，右肘}和Δa_{左膝，左踝關節}均大于閾值t9；

所述閾值t1～t9根據經驗確定。

2.根據權利要求1所述的基于深度相機的人體行為識別方法，其特征在于，所述步驟4中，根據試驗確定閾值為t1～t9分別為：1.5、40、5.5、60、3.5、5.0、40、7.0和30。

3.根據權利要求1～2中任一項所述的基于深度相機的人體行為識別方法，其特征在于，還包括步驟6，通過安裝在深度相機上的無線通信模塊將人體行為識別結果發送給安?？刂浦行?，如果有危險行為則觸發報警。