[發(fā)明專(zhuān)利]一種基于深度相機(jī)的人流分析方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110297860.6
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN113034544A
• 公開(kāi)（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 王衛(wèi)芳;龔國(guó)基;朱毅博;胡正
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奧比中光科技集團(tuán)股份有限公司
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06K9/00;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 任敏

1.一種基于深度相機(jī)的人流分析方法，其特征在于，包括：

通過(guò)深度相機(jī)獲取目標(biāo)檢測(cè)區(qū)域的行人圖像集；所述行人圖像集包含多幀行人圖像；

將所述行人圖像導(dǎo)入人體檢測(cè)網(wǎng)絡(luò)，輸出每幀所述行人圖像對(duì)應(yīng)的人體檢測(cè)圖像；所述人體檢測(cè)網(wǎng)絡(luò)通過(guò)深度學(xué)習(xí)訓(xùn)練得到；

基于多幀連續(xù)的所述行人圖像對(duì)應(yīng)的所述人體檢測(cè)圖像，確定所述目標(biāo)檢測(cè)區(qū)域內(nèi)包含的若干行人對(duì)象的運(yùn)動(dòng)跟蹤數(shù)據(jù)；

基于所述若干行人對(duì)象的所述運(yùn)動(dòng)跟蹤數(shù)據(jù)，生成關(guān)于所述目標(biāo)檢測(cè)區(qū)域的人流分析信息。

2.如權(quán)利要求1所述的方法，其特征在于，所述將所述行人圖像導(dǎo)入人體檢測(cè)網(wǎng)絡(luò)，輸出每幀所述行人圖像對(duì)應(yīng)的人體檢測(cè)圖像，包括：

將所述行人圖像導(dǎo)入人體檢測(cè)網(wǎng)絡(luò)，以使所述人體檢測(cè)網(wǎng)絡(luò)基于所述行人圖像內(nèi)各個(gè)像素的深度值，在所述行人圖像中劃分若干人體區(qū)域；

基于所述若干人體區(qū)域在所述行人圖像中的位置，為各個(gè)所述人體區(qū)域配置不同的區(qū)域標(biāo)識(shí)，將標(biāo)記出所述人體區(qū)域以及與所述人體區(qū)域?qū)?yīng)的區(qū)域標(biāo)識(shí)后的所述行人圖像作為所述人體檢測(cè)圖像。

3.如權(quán)利要求2所述的方法，其特征在于，所述基于多幀連續(xù)的所述行人圖像對(duì)應(yīng)的所述人體檢測(cè)圖像，確定所述目標(biāo)檢測(cè)區(qū)域內(nèi)包含的若干行人對(duì)象的運(yùn)動(dòng)跟蹤數(shù)據(jù)，包括：

基于所述人體檢測(cè)圖像內(nèi)的人體區(qū)域，確定所述區(qū)域標(biāo)識(shí)對(duì)應(yīng)的人體重心位置；

基于所述區(qū)域標(biāo)識(shí)的所述人體重心位置以及人體特征信息，將任意相鄰兩幀人體檢測(cè)圖像進(jìn)行匹配；

若所述相鄰兩幀人體檢測(cè)圖像中分別存在匹配成功的兩個(gè)區(qū)域標(biāo)識(shí)，則識(shí)別所述兩個(gè)區(qū)域標(biāo)識(shí)對(duì)應(yīng)的所述人體區(qū)域關(guān)聯(lián)相同的行人對(duì)象；

根據(jù)所述行人對(duì)象在各幀所述人體檢測(cè)圖像關(guān)聯(lián)的所述人體區(qū)域，確定所述行人對(duì)象的運(yùn)動(dòng)跟蹤數(shù)據(jù)。

4.如權(quán)利要求3所述的方法，其特征在于，所述基于所述人體檢測(cè)圖像內(nèi)的人體區(qū)域，確定所述區(qū)域標(biāo)識(shí)對(duì)應(yīng)的人體重心位置之前，還包括：

對(duì)所述深度相機(jī)進(jìn)行標(biāo)定，得到所述深度相機(jī)的內(nèi)參數(shù)；

所述基于所述人體檢測(cè)圖像內(nèi)的人體區(qū)域，確定所述區(qū)域標(biāo)識(shí)對(duì)應(yīng)的人體重心位置，包括：

基于所述人體區(qū)域內(nèi)各個(gè)像素的深度值，計(jì)算所述人體重心的像素坐標(biāo)；

基于所述深度相機(jī)的內(nèi)參數(shù)以及所述人體重心在所述人體檢測(cè)圖像內(nèi)的深度值，將所述像素坐標(biāo)轉(zhuǎn)換為三維坐標(biāo)；

將所述人體重心的三維坐標(biāo)識(shí)別為所述區(qū)域標(biāo)識(shí)對(duì)應(yīng)的人體重心位置。

5.如權(quán)利要求1所述的方法，其特征在于，所述將所述行人圖像導(dǎo)入人體檢測(cè)網(wǎng)絡(luò)，輸出每幀所述行人圖像對(duì)應(yīng)的人體檢測(cè)圖像之前，還包括：

對(duì)所述行人圖像進(jìn)行預(yù)處理，包括：

基于所述行人圖像內(nèi)各個(gè)像素的深度值，對(duì)所述行人圖像進(jìn)行輪廓提取，得到所述行人圖像的輪廓線；

基于背景圖像以及所述輪廓線對(duì)所述行人圖像進(jìn)行前景提取，得到所述行人圖像的前景區(qū)域；所述背景圖像是將所述行人圖像集導(dǎo)入背景建模算法后確定的，或基于所述深度相機(jī)采集得到的；

對(duì)所述前景區(qū)域內(nèi)各個(gè)像素的深度值進(jìn)行歸一化處理，并根據(jù)所述前景區(qū)域內(nèi)各個(gè)像素歸一化后的深度值得到預(yù)處理后的行人圖像；所述前景區(qū)域用于所述人體檢測(cè)網(wǎng)絡(luò)根據(jù)所述前景區(qū)域內(nèi)各個(gè)像素歸一化后的深度值確定人體區(qū)域。

6.如權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述基于所述若干行人對(duì)象的所述運(yùn)動(dòng)跟蹤數(shù)據(jù)，生成關(guān)于所述目標(biāo)檢測(cè)區(qū)域的人流分析信息，包括：

基于所述若干行人對(duì)象的所述運(yùn)動(dòng)跟蹤數(shù)據(jù)，分別確定所述目標(biāo)檢測(cè)區(qū)域內(nèi)所述行人對(duì)象在各幀所述行人圖像內(nèi)的行人坐標(biāo)以及行人速度；

將所述行人坐標(biāo)以及所述行人速度導(dǎo)入到預(yù)設(shè)的人流分析模板，得到所述人流分析信息。