[發(fā)明專利]一種視頻流實(shí)時行人檢測方法

在審

• 申請?zhí)枺?/td>: 201910859779.5
• 申請日: 2019-09-11
• 公開（公告）號: CN110555425A
• 公開（公告）日: 2019-12-10
• 發(fā)明（設(shè)計）人: 張春月;史小宏;易典;徐浩
• 申請（專利權(quán)）人: 上海海事大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 31323 上海元好知識產(chǎn)權(quán)代理有限公司
• 代理人: 張妍;周乃鑫

一種視頻流實(shí)時行人檢測方法，對卷積神經(jīng)網(wǎng)絡(luò)的輸入和權(quán)值進(jìn)行二值化，使用卷積神經(jīng)網(wǎng)絡(luò)提取行人的卷積特征，融合卷積神經(jīng)網(wǎng)絡(luò)中的多重卷積特征，輸出不同尺度的回歸邊界和分類概率，根據(jù)回歸邊界和分類概率，使用包含了分類誤差、邊界框坐標(biāo)誤差和邊界框內(nèi)目標(biāo)可信度誤差的損失函數(shù)對二值化后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的檢測結(jié)果。本發(fā)明簡化了計算量，實(shí)現(xiàn)對目標(biāo)的實(shí)時快速檢測，避免了檢測時低維特征提取不敏感問題，提高了檢測的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)圖像檢測技術(shù)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的視頻流實(shí)時行人檢測方法。

背景技術(shù)

行人檢測是指在交通場景下,判斷圖像或視頻信息中是否包含行人，如果包含行人，則用框圖標(biāo)記出行人所在區(qū)域。行人跟蹤是指在視頻第一幀給出所關(guān)注行人位置信息的情況下，在后續(xù)視頻信息中持續(xù)穩(wěn)定的標(biāo)記出目標(biāo)行人所處位置。行人的檢測和跟蹤是智能硬件為人類提供各種服務(wù)的重要底層技術(shù)之一，有著深遠(yuǎn)的科研意義和豐富的應(yīng)用場景。為保持社會穩(wěn)定、減少公民生命財產(chǎn)損失，海量的監(jiān)控設(shè)備安裝在高鐵站、購物超市、居住小區(qū)中。利用行人檢測和跟蹤技術(shù)分析這些海量視頻信息，能夠節(jié)省大量人力、效率較高。

目前一些汽車生產(chǎn)廠商、大學(xué)和研究機(jī)構(gòu)相繼開始了行人檢測技術(shù)的研究。比如，歐洲戴姆勒、德國大眾等就發(fā)起了旨在研究行人保護(hù)方案的PROTECTOR項(xiàng)目，并且已經(jīng)取得了初步的成效。2004-2005年的SAVE-U項(xiàng)目實(shí)現(xiàn)的目標(biāo)是減少行人和車輛碰撞造成的傷亡數(shù)量和事故等級，并在危險狀況下駕駛員警告和車輛自動減速試驗(yàn)車輛。作為無人駕駛的先驅(qū)技術(shù)之一，行人檢測系統(tǒng)在近幾年也已成為研發(fā)熱點(diǎn)，它通常整合到碰撞預(yù)防系統(tǒng)當(dāng)中，利用雷達(dá)攝像頭和感應(yīng)器來檢測行人，并及時減速剎車從而減少事故傷害。沃爾沃、豐田等車企已率先推出先進(jìn)的行人檢測系統(tǒng)，而福特也推出了先進(jìn)的行人檢測系統(tǒng)，能夠識別路上的行人并進(jìn)行動態(tài)分析，預(yù)測他們是否會闖入駕駛路線中。除了傳統(tǒng)汽車公司外，很多互聯(lián)網(wǎng)公司也在研發(fā)行人檢測系統(tǒng)，以期實(shí)現(xiàn)智能汽車。谷歌最新的行人檢測系統(tǒng)只靠攝像機(jī)影像來掌握行人動向，但是優(yōu)化了速度問題。行人檢測在智能交通等領(lǐng)域越來越受到重視。

行人檢測方法主要分為兩大類，基于手工特征提取和基于深度學(xué)習(xí)，其中：基于手工提取特征的方法有HOG，HOG-LBP，Haar等，主要利用從數(shù)據(jù)中提取出的相關(guān)特征訓(xùn)練SVM和Adaboost等分類器，其中目前最主流的是HOG+SVM，許多文獻(xiàn)在HOG+SVM的基礎(chǔ)上進(jìn)行了優(yōu)化。然而手工提取特征又稱為特征工程，有著許多缺點(diǎn)。HOG特征對于遮擋問題效果不好，SIFT特征要求檢測目標(biāo)包含足夠多的紋理信息，Haar特征有著計算量大、訓(xùn)練時間很長而且對復(fù)雜的目標(biāo)的描述效果不夠好的缺點(diǎn)。

基于深度學(xué)習(xí)方法，隨著近幾年深度學(xué)習(xí)理論的快速發(fā)展，取得了很大的進(jìn)步，特別是檢測精度比原有算法有較大的提高。大量文獻(xiàn)表明深度學(xué)習(xí)自我學(xué)習(xí)的特征可以更好地描述檢測目標(biāo)的特性，避免了復(fù)雜的特征提取和數(shù)據(jù)建模過程。主流的是卷積神經(jīng)網(wǎng)絡(luò)CNN，最早用于Mnist手寫數(shù)字字符數(shù)據(jù)集上。現(xiàn)在主流的目標(biāo)檢測算法是R-CNN系列，最早的R-CNN算法使用了Selective Search方法從一張圖像生成約2000-3000個候選區(qū)域，然后通過卷積神經(jīng)網(wǎng)絡(luò)在候選區(qū)域提取特征并進(jìn)行判斷，之后出現(xiàn)的Fast R-CNN、Faster-RCNN算法都是R-CNN算法的提高。在行人檢測領(lǐng)域，Sermanet等人提出了Convnet模型在行人檢測數(shù)據(jù)庫獲得了很好的效果，Tian等人通過考慮行人和場景的語義屬性學(xué)習(xí)更具有表達(dá)能力的特征，Cai等人提出復(fù)雜性的級聯(lián)訓(xùn)練，成功結(jié)合了手工提取的特征和卷積神經(jīng)網(wǎng)絡(luò)得到的特征，Zhang等人提出了一種使用RPN得到候選區(qū)域，然后通過boosted forests分類的行人檢測算法。

然而，目前雖然一些檢測算法在已經(jīng)獲得了較高準(zhǔn)確率，但是在很難以在實(shí)際應(yīng)用中能夠使用，其主要原因是深度神經(jīng)網(wǎng)絡(luò)龐大的網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致的巨大的計算量難以滿足實(shí)時的要求。

發(fā)明內(nèi)容