[發(fā)明專利]基于RGB-D多模態(tài)數(shù)據(jù)的雙向人流量統(tǒng)計方法

在審

• 申請?zhí)枺?/td>: 202010588951.0
• 申請日: 2020-06-24
• 公開（公告）號: CN111881749A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 張文利;郭向;王寧;王佳琪
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 沈波

本發(fā)明公開了基于RGB?D多模態(tài)數(shù)據(jù)的雙向人流量統(tǒng)計方法，屬于計算技術(shù)覺領(lǐng)域。主要包括RGB?D視頻序列提取，人員檢測，基于RGB?D的多目標(biāo)跟蹤，基于三維質(zhì)心運動方向判斷，雙向人流量計數(shù)；本發(fā)明為了提升軌跡關(guān)聯(lián)的可靠性和準(zhǔn)確性，設(shè)計一種基于IOU和深度化率聯(lián)合約束的目標(biāo)匹配策略，結(jié)合位置相似度和深度相似度將檢測框和已有軌跡進行二次匹配；為減少目標(biāo)頻繁遮擋導(dǎo)致軌跡匹配錯誤以及目標(biāo)ID頻繁切換的情況，設(shè)計一種基于軌跡上下文深度差的目標(biāo)遮擋判斷策略，通過計算感興趣區(qū)域的深度均值對人員遮擋狀態(tài)進行判斷，依據(jù)遮擋狀態(tài)對目標(biāo)軌跡進行優(yōu)化；最后提出利用三維質(zhì)心坐標(biāo)判斷人員橫、縱運動方向，減少方向判斷錯誤，并處理不規(guī)則運動。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺與圖像處理領(lǐng)域，具體涉及一種基于RGB-D多模態(tài)數(shù)據(jù)的雙向人流量統(tǒng)計方法。

背景技術(shù)

近年來，伴隨著智慧建筑、視頻監(jiān)控等視頻技術(shù)的飛速發(fā)展，雙向人流量的統(tǒng)計逐漸成為視頻分析和人工智能領(lǐng)域的一個熱門研究課題，并得到廣泛的應(yīng)用。雙向人流量統(tǒng)計是指在某一固定區(qū)域或空間內(nèi)的橫向(左右)計數(shù)和縱向(上下)計數(shù)，其中橫向計數(shù)即對從左到右和從右向左運動的人員進行計數(shù)；縱向計數(shù)即對遠(yuǎn)離攝像頭和接近攝像頭的人員分別進行計數(shù)。雙向人流量統(tǒng)計可用于對商場、店鋪、具有狹小空間的通道走廊等區(qū)域進行合理化管理。對于商場店鋪而言，客流量信息是極具參考價值的統(tǒng)計數(shù)據(jù)，基于此可以分析顧客的購物習(xí)慣和偏好，從而更加合理的統(tǒng)籌商場布局、布置商品貨柜以及避免商品資源浪費，同時迎合消費者的愛好使其獲得更佳的購物體驗。在通道狹小的公交車或走廊，人流量大，且光照條件較昏暗，容易產(chǎn)生擁擠、踩踏等安全隱患，通過掌握該場景的人員分布情況，能夠?qū)崟r評估場所的擁擠程度，從而做到提前預(yù)警和指導(dǎo)疏散引流措施的部署。

雙向人流量統(tǒng)計依據(jù)數(shù)據(jù)來源主要分為兩類：基于RGB視頻序列的雙向人流量統(tǒng)計和基于RGB-D(RGB圖像和深度圖像)視頻序列的雙向人流量統(tǒng)計。

(1)基于RGB視頻序列的雙向人流量統(tǒng)計方法：

基于RGB視頻序列的雙向人流量統(tǒng)計方法即在某一特定區(qū)域內(nèi)，通過RGB視頻序列對通過的行人進行計數(shù)。首先，利用人員檢測模型對RGB樣本圖像中的行人進行框選與定位，從而達(dá)到人員檢測的目的。其次通過均值漂移算法、Kalman濾波等方法對場景內(nèi)的所有人員進行運動狀態(tài)的預(yù)測與更新，基于IOU距離的匈牙利匹配算法、搜索區(qū)域匹配算法等進行目標(biāo)匹配。最后，利用虛擬計數(shù)線判斷人員是否過線來統(tǒng)計人員流量。

基于RGB視頻序列的雙向人流量統(tǒng)計方法存在以下缺點：

①基于IoU距離的關(guān)聯(lián)策略在密集人群中的可靠性較差。基于RGB的多目標(biāo)跟蹤方法多采用IoU距離度量檢測邊框之間的位置相似度進行目標(biāo)關(guān)聯(lián)，但在目標(biāo)框頻繁重疊的密集人群中，僅依賴IoU距離會增加匹配錯誤和遺漏的風(fēng)險。

②難以應(yīng)對人員不規(guī)則運動和相機視角的影響。現(xiàn)有人流量統(tǒng)計方法多依據(jù)兩幀間目標(biāo)軌跡的二維坐標(biāo)變化，判斷人員過線時的運動方向，而對于不規(guī)則運動的目標(biāo)易導(dǎo)致過線方向判斷錯誤。此外現(xiàn)有運動方向判斷方法過度依賴于二維平面坐標(biāo)系，忽略了目標(biāo)在場景中的三維距離變化，對相機的拍攝視角敏感。

(2)基于RGB-D視頻序列的雙向人流量統(tǒng)計方法：

基于RGB-D視頻序列的雙向人流量統(tǒng)計方法即融合RGB和深度圖像對通過特定區(qū)域的行人進行雙向計數(shù)。首先，部分方法提取RGB圖像中的紋理、色彩信息和深度圖像中的邊緣等信息，并將提取到的特征進行融合，利用融合特征進行人員的邊框回歸，得到目標(biāo)檢測框。其次，給目標(biāo)檢測框分配跟蹤器并進行實時更新，通過匈牙利匹配算法等對幀間目標(biāo)進行匹配，實現(xiàn)對人員的跟蹤并獲取其運動軌跡。最后，依據(jù)兩幀間目標(biāo)軌跡的二維質(zhì)心坐標(biāo)變化，判斷人員過線時的運動方向，根據(jù)人員運動方向并設(shè)置虛擬線對不同方向的行人進行計數(shù)。

基于RGB-D視頻序列的雙向人流量統(tǒng)計方法存在以下缺點：