[發(fā)明專利]一種基于Faster rcnn的多模態(tài)行人檢測模型及方法

在審

• 申請?zhí)枺?/td>: 201911390948.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111104921A
• 公開（公告）日: 2020-05-05
• 發(fā)明（設計）人: 柯良軍;陸鑫;孫凱旋;董鵬輝
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/80;G06T7/50;G06N3/04
• 代理公司: 西安智大知識產(chǎn)權代理事務所 61215
• 代理人: 王晶

一種基于Faster rcnn的多模態(tài)行人檢測模型及方法，包括輸入數(shù)據(jù)對齊處理和并行特征提取網(wǎng)絡，將并行特征提取網(wǎng)絡得到的結果通過后續(xù)的RPN網(wǎng)絡和分類網(wǎng)絡進行處理，從而進行類別分類和位置回歸。本發(fā)明有效判別行人在視頻或者圖片中的位置，同時避免人與人遮擋時出現(xiàn)的虛檢問題和物體遮擋人體時漏檢的問題。

技術領域

本發(fā)明涉及行人檢測模型技術領域，特別涉及一種基于Fasterrcnn的多模態(tài)行人檢測模型及方法。

背景技術

人體檢測是計算機視覺領域最具有應用價值的研究方向之一，也是其中的一個重點和難點問題。人體檢測問題是指在視頻或者圖片中判斷是否存在人體，如果判斷有人體則還需要輸出人體所在的位置。人體檢測在無人駕駛、智能安防、以及家庭服務機器人領域具有重要的實際應用價值，同時是人體行為步態(tài)分析，人體身份識別和行人跟蹤等眾多應用的前提和基礎。早期的人體檢測任務通常都是基于彩色圖進行的，而隨著深度學習方法的不斷發(fā)展，彩色圖所包含的信息利用率已經(jīng)接近飽和。由于彩色圖易受光照變化等先天缺陷，單純使用彩色圖進行人體檢測已經(jīng)沒有多少潛力。

深度圖蘊含著外界環(huán)境的深度信息，進而表征著物體的幾何形狀信息，同時深度圖還具有良好的光照不變性，這些性質(zhì)均是彩色圖所不具備的。正是由于這些原因，基于RGB-D多模態(tài)數(shù)據(jù)進行人體檢測的研究在計算機視覺和機器人等學科中越來越活躍。

現(xiàn)有的行人檢測算法大多數(shù)為僅以RGB圖像作為輸入的單輸入網(wǎng)絡，容易受RGB圖像亮度，對比度和圖像模糊的影響；同時模型對遮擋的行人所能提取的整體特征判別度不高。

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術的不足，本發(fā)明的目的在于提供一種基于Faster rcnn的多模態(tài)行人檢測模型及方法，有效判別行人在視頻或者圖片中的位置，同時避免人與人遮擋時出現(xiàn)的虛檢問題和物體遮擋人體時漏檢的問題。

為了實現(xiàn)上述目的，本發(fā)明采用的技術方案是：

一種基于Faster rcnn的多模態(tài)行人檢測模型，包括輸入數(shù)據(jù)對齊處理和并行特征提取網(wǎng)絡，將并行特征提取網(wǎng)絡得到的結果通過后續(xù)的RPN網(wǎng)絡和分類網(wǎng)絡進行處理，從而進行類別分類和位置回歸；其中輸入數(shù)據(jù)對齊處理采用張正友攝像機標定的方法，對深度相機進行標定，將深度圖轉(zhuǎn)化到彩色圖圖像坐標系中，然后截取彩色圖和深度圖中重疊的部分，分別進行保存，得到了一組對齊的彩色圖和深度圖，在進行不同模態(tài)的特征圖合并的時候，同一位置的彩色圖特征和深度圖特征才能合并在一起，共同發(fā)揮作用，并行特征提取網(wǎng)絡是用兩個獨立的卷積神經(jīng)網(wǎng)絡分別提取彩色圖數(shù)據(jù)和深度圖數(shù)據(jù)的特征，作為后續(xù)兩種模態(tài)特征融合的基礎。

一種基于Faster rcnn的多模態(tài)行人檢測方法，包括以下步驟；

一、輸入數(shù)據(jù)對齊處理：

二、并行特征提取網(wǎng)絡：

三：將并行特征提取網(wǎng)絡得到的結果通過后續(xù)的RPN網(wǎng)絡和分類網(wǎng)絡進行處理，從而進行類別分類和位置回歸。

所述的輸入數(shù)據(jù)對齊處理具體為：

步驟一：采用利用微軟2代Kinect深度傳感器采集，共包含現(xiàn)實生活中的5個場景，包含了多種人體姿態(tài)；

步驟二：采用張正友攝像機標定的方法，對深度相機進行標定，將深度圖轉(zhuǎn)化到彩色圖圖像坐標系中，然后截取彩色圖和深度圖中重疊的部分，分別進行保存，得到了一組對齊的彩色圖和深度圖；

步驟三：將深度圖采用Jet色圖編碼后得到深度圖和彩色圖圖像坐標系中的截取的彩色圖送入行人檢測模型中。

所述的并行特征提取網(wǎng)絡具體為：

步驟一：對輸入的彩色圖和深度圖用不同的特征提取網(wǎng)絡提取深層特征信息得到特征圖；

步驟二：對上一步得到的特征圖進行L2歸一化處理；