[發明專利]一種基于深度相機的人體行為識別方法

在審

• 申請號: 201710916303.1
• 申請日: 2017-09-30
• 公開（公告）號: CN107742097A
• 公開（公告）日: 2018-02-27
• 發明（設計）人: 涂宏斌;周翔;楊輝;田煒;周繼輝;彭日光;肖玉飛;張豐
• 申請（專利權）人: 長沙湘計海盾科技有限公司;長城信息產業股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;H04N13/243;H04N7/18
• 代理公司: 長沙市融智專利事務所43114
• 代理人: 楊萍

本發明公開了一種基于深度相機的人體行為識別方法，包括以下步驟：通過安裝在公共區域不同位置的多個深度相機獲取監控圖像序列；提取監控圖像序列中的人體圖像，得到人體圖像序列，進一步提取每一幀人體圖像中的人體面部輪廓、上肢輪廓和下肢輪廓；計算每個時間窗口中人體面部輪廓、上肢輪廓和下肢輪廓在各平面的投影面積；根據前后時間窗口內投影面積的變化情況粗略判定人體行為類別，并在人體圖像序列中將投影面積發生變化的時間窗口內的圖像幀提取出來；通過分析提取出的圖像幀中相關關節點之間的相對速度和相對加速度是否符合步驟4中粗略判定的行為類別的特征，精準判定是否為此類行為。本發明成本低，精確度高，實時性強。

技術領域

本發明涉及一種基于深度相機的人體行為識別方法。

背景技術

目前的安保監控系統，多采用二維成像相機對公共區域進行視頻監控，二維成像相機只能成平面圖像，不能得到深度信息；因此，監控到的圖像中只存在人體行為的投影，無法通過其精確辨識人體行為。而通過多個二維成像相機獲取的二維圖像，重建成立體視覺進行視頻監控，則增加了硬件成本和軟件開發的工作量。

因此，有必要提供一種基于深度相機的人體行為識別方法。

發明內容

本發明所解決的技術問題是，針對現有技術的不足，提供一種基于深度相機的人體行為識別方法，利用安裝在不同方位的深度相機對公共區域進行多視角視頻監控，提取出各個人體圖像，然后利用識別算法辨識人體行為，成本低，精確度高，實時性強。

本發明所提供的技術方案為：

一種基于深度相機的人體行為識別方法，包括以下步驟：

步驟1、通過安裝在公共區域不同位置的多個深度相機采集公共區域內的點云數據；

步驟2、對多個深度相機采集的點云數據進行三維重建，獲得重建后的監控圖像序列；此處為成熟的現有技術，參見參考文獻[1]、[2]、[3]。

步驟3、首先提取監控圖像序列中的人體圖像，得到人體圖像序列；然后提取每一幀人體圖像中的人體面部輪廓、上肢輪廓和下肢輪廓；最后劃分時間窗口，并計算每個時間窗口中人體面部輪廓、上肢輪廓和下肢輪廓在y-z平面、x-z平面和x-y平面的投影面積；

步驟4、根據前后時間窗口內人體面部輪廓、上肢輪廓和下肢輪廓在各平面的投影面積的變化情況，粗略判定人體行為類別，并在人體圖像序列中將投影面積發生變化的時間窗口內的圖像幀提取出來；如果身體部位向前運動，則面部輪廓在該面的投影面積最大；如果人體向一邊轉身，則面部輪廓在該邊的投影面積會變大，因此，通過上面得到的人體面部輪廓、上肢輪廓和下肢輪廓在各平面的投影面積的變化情況，可以粗略判斷行為類別；在連續時間窗口中，若前后時間窗口內人體面部輪廓、上肢輪廓和下肢輪廓在各平面的投影面積發生變化，則將這些時間窗口內的圖像幀提取出來；

步驟5、通過分析提取出的圖像幀中相關關節點之間的相對速度和相對加速度是否符合步驟4中粗略判定的行為類別的特征，精準判定是否為此類行為。

進一步地，所述步驟3中，每個時間窗口中人體面部輪廓、上肢輪廓和下肢輪廓在y-z平面、x-z平面和x-y平面的投影面積包括以下步驟：

3.1)根據Canny算法，提取出每一幀人體圖像中的輪廓H，H＝1,2,3分別表示面部輪廓、上肢輪廓、下肢輪廓；

3.2)根據以下公式計算任一幀人體圖像中的輪廓H在y-z平面、x-z平面和x-y平面的投影面積：