[發(fā)明專利]一種復(fù)雜場景下的實時在線行人分析與計數(shù)系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201910381879.1
• 申請日: 2019-05-08
• 公開（公告）號: CN110147743B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計）人: 宮法明;馬玉輝;唐昱潤;徐燕;袁向兵;李昕;李傳濤
• 申請（專利權(quán)）人: 中國石油大學(xué)（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 馬超前

本發(fā)明提供一種復(fù)雜場景下的實時在線行人分析與計數(shù)系統(tǒng)及方法，其中方法為以視頻信息作為輸入，通過數(shù)據(jù)預(yù)處理將視頻數(shù)據(jù)轉(zhuǎn)換為連續(xù)的RGB幀圖像，利用原始的SSD網(wǎng)絡(luò)進行人員目標檢測；然后，將生成的多個建議框輸入到兩個并行的分支網(wǎng)絡(luò)中用于人體關(guān)鍵點檢測，一個為堆疊沙漏網(wǎng)絡(luò)，用于位置修正和優(yōu)化目標檢測生成的建議框結(jié)果；另一個為姿態(tài)卷積機。本發(fā)明通過對特定的復(fù)雜場景進行分析并建立了一套完整的解決方案和框架，利用人體關(guān)鍵點這一高級特征將多個領(lǐng)域的算法進行有機的整合，能夠解決實際工程場景下的人員的目標檢測與跟蹤、人體關(guān)鍵點分析、人體動作識別和計數(shù)分析等問題，具有廣泛的應(yīng)用場景。

技術(shù)領(lǐng)域

本發(fā)明屬于行人分析技術(shù)領(lǐng)域，尤其涉及一種復(fù)雜場景下的實時在線行人分析與計數(shù)系統(tǒng)及方法。

背景技術(shù)

隨著科技的不斷進步與發(fā)展，行人分析技術(shù)廣泛應(yīng)用于公共場所的信息統(tǒng)計和相關(guān)應(yīng)急措施，如人流量控制、商場布局參考和公共安防等，該技術(shù)不僅在智能監(jiān)控系統(tǒng)中具有廣泛的應(yīng)用前景和巨大潛力，在計算機視覺中也是一個具有吸引力及挑戰(zhàn)性的問題。行人運動的視覺分析是一個新興前沿的研究領(lǐng)域，涉及智能輔助駕駛，運動捕捉、智能監(jiān)控、人體行為識別與分析以及環(huán)境控制和監(jiān)測等多個領(lǐng)域，可廣泛應(yīng)用于銀行、學(xué)校、道路交通、醫(yī)院等多個大型公共場所，具有重要的實際應(yīng)用和科研價值。

近年來，行人分析技術(shù)進入了一個快速的發(fā)展階段，但是也存在很多問題亟待解決，主要是在性能和速度方面還不能達到一個平衡?；谝曈X的行人分析與計數(shù)是指在人不參與干預(yù)或者極少參與干預(yù)的條件下，分析由固定攝像頭拍攝的靜態(tài)圖像或者圖像序列，進而對行人進行目標檢測與識別、目標跟蹤、人體姿態(tài)識別、行人計數(shù)分析、人體動作識別與分析等多個方面的分析。傳統(tǒng)的方法大多利用OpenCV內(nèi)置的檢測方法，如利用Hog變換和Haar人形檢測進行目標檢測，利用Meanshift和Camshift兩種算法進行目標跟蹤等，從檢測效果來看，由于只是簡單采用顏色直方圖的信息，如果應(yīng)用場所的背景較為復(fù)雜，則很難判斷出該行人是否走出視野，難以進行后續(xù)的多方面分析，所以誤檢率是比較高的。此外，Camshift算法只能實現(xiàn)單目標跟蹤，這就意味著不適合多人跟蹤檢測的場景。

隨著深度學(xué)習(xí)技術(shù)等一些列新的理論和工具的不斷涌現(xiàn)，目標檢測與跟蹤、人體動作識別等領(lǐng)域有了一定的發(fā)展，包括基于自適應(yīng)行人模型的行人檢測與計數(shù)的方法、基于群組上下文的行人分析與計數(shù)方法和基于卷積神經(jīng)網(wǎng)絡(luò)的行人分析算法等多種方法?；谧赃m應(yīng)行人模型的行人檢測與計數(shù)的方法使用輪廓信息對完整的行人以及行人局部進行建模，使用柵格模板判斷行人軀干可見性，以及建立分支結(jié)構(gòu)的行人分類器。由于局部檢測子的引入和行人模型的自適應(yīng)性，該方法可以在一定程度上處理簡單場景下的遮擋問題?；谌航M上下文的行人計數(shù)方法，通過背景減除算法提取前景圖像，建立相鄰圖像幀中群組的相關(guān)性矩陣，用以檢測、跟蹤群組并識別給定群的群組關(guān)系。使用群組及其相關(guān)群組的前景圖像建立群組上下文，整合時間和空間信息作為計數(shù)參考，從而引入歷史信息以及更多的空間關(guān)聯(lián)。該方法可以在一定程度上處理行人間遮擋、圖像深度影響以及行人姿態(tài)的變化，但是在人體遮擋嚴重、姿態(tài)多變以及干擾物存在較多的實際工程場景中，現(xiàn)有方法的檢測結(jié)果仍有待提高。

目前，對于行人分析雖然在目標檢測與跟蹤、人體動作識別等單個領(lǐng)域內(nèi)有所突破，但是缺乏一套完整的解決方案和框架能夠解決復(fù)雜場景下的行人分析與計數(shù)問題，各個功能模塊之間只是孤立存在而不能進行有機的整合，導(dǎo)致數(shù)據(jù)信息難以傳遞和交叉處理，數(shù)據(jù)利用率不高，檢測與識別的效果在實際工程場景中難以提升。此外，由于攝像頭的拍攝角度受限和運動目標被復(fù)雜背景所遮擋等因素，導(dǎo)致目標檢測與跟蹤存在較大的困難，且面向單個攝像頭對單個監(jiān)控區(qū)域進行行人分析，往往受到復(fù)雜背景、光照和干擾物等因素的較大影響，不能很好地解決人體非剛性形變以及行人自身遮擋問題對檢測結(jié)果帶來的干擾。最后，由于高清攝像頭的出現(xiàn)，海量視頻數(shù)據(jù)對計算機的硬件要求也比較高，現(xiàn)有方法在性能和速度方面還不能達到一個平衡。在處理高分辨率的視頻幀圖像時，大多數(shù)算法都是進行離線分析，檢測速度有所下降，無法在復(fù)雜場景下實現(xiàn)在線實時的行人分析與計數(shù)。