[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的行人檢測方法

有效

• 申請?zhí)枺?/td>: 201811335508.1
• 申請日: 2018-11-10
• 公開（公告）號: CN109657545B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;陳越;侯春萍;彭勃;郭亭佚;牛力杰
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/82;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測方法，包括：將行人位置所在的區(qū)域劃分為m*n個(gè)子區(qū)域，按照預(yù)設(shè)規(guī)則將子區(qū)域進(jìn)行組合，獲取多個(gè)組合區(qū)域，將每個(gè)組合區(qū)域定義為行人可見模式；基于高速區(qū)域卷積網(wǎng)絡(luò)的第一階段網(wǎng)絡(luò)結(jié)構(gòu)，采用同一個(gè)特征提取網(wǎng)絡(luò)提供輸入圖像的深度特征，并聯(lián)多個(gè)檢測網(wǎng)絡(luò)，每一個(gè)檢測網(wǎng)絡(luò)對應(yīng)一種行人可見模式的檢測任務(wù)；統(tǒng)計(jì)行人檢測場景視頻中各種行人可見模式出現(xiàn)的比例、與每一個(gè)任務(wù)的損失函數(shù)加權(quán)平均，得到總的損失函數(shù)；選取前五種行人可見模式生成訓(xùn)練樣本，分別訓(xùn)練對應(yīng)的區(qū)域推薦子網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)對行人的檢測。本發(fā)明采用多任務(wù)學(xué)習(xí)的方式，在不增加實(shí)際使用時(shí)深度網(wǎng)絡(luò)復(fù)雜度的情況下，提高深度網(wǎng)絡(luò)對遮擋行人的檢測能力。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理、計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測方法。

背景技術(shù)

隨著近些年輔助駕駛、無人駕駛等技術(shù)興起，行人檢測成為一大研究熱點(diǎn)。行人檢測的目的是在給出的圖像或視頻中標(biāo)出行人個(gè)體的位置。由于視頻可以劃分為多幀的圖像，目前業(yè)界的研究重點(diǎn)放在圖像的行人檢測。圖像檢測技術(shù)有數(shù)十年的發(fā)展，其整體框架主要包括為：待檢測區(qū)域選擇、特征提取、特征分類三個(gè)部分。

在深度學(xué)習(xí)興起之前，具有代表性的行人檢測方法包括：完全通道特征方法(Integrate Channel Features，ICF)和可變部件模型方法(Deformable Parts Model，DPM)。ICF使用多通道特征和分類器進(jìn)行行人識別。由于ICF方法以整個(gè)個(gè)體作為分類目標(biāo)，盡管在遮擋較弱的情況下行人檢測效果優(yōu)異，但是隨著遮擋程度的上升，檢測效果下降明顯。DPM方法采用多部件輔助的聯(lián)合檢測方式，在HOG(方向梯度直方圖)特征金字塔上進(jìn)行行人檢測，巧妙地解決了多尺度問題，并且能夠在一定程度上降低遮擋對檢測效果的影響。隨著深度學(xué)習(xí)理論研究的不斷深入，深度特征被用到檢測任務(wù)中，使得檢測結(jié)果的準(zhǔn)確度得到了巨大的提升。

采用深度學(xué)習(xí)的物體檢測方法中影響最為深遠(yuǎn)的是區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regionswith Convolutional Neural Network，RCNN)方法及其后續(xù)發(fā)展的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast-RCNN)方法和高速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster-RCNN)方法。該類方法采用兩階段的檢測框架，首先采用區(qū)域推薦方法產(chǎn)生推薦區(qū)域，然后使用分類器對推薦區(qū)域進(jìn)行分類以實(shí)現(xiàn)檢測。然而，由于個(gè)體遮擋和多尺度問題，該系列方法在行人檢測中效果還有待提高。

Tian等人提出了Deep-part(深度部件)模型，其在ICF框架下采用深度特征訓(xùn)練多種遮擋情況的行人檢測器，在正常場景和擁擠場景下均取得了較好的檢測效果。但是，多檢測器的結(jié)構(gòu)較為復(fù)雜，方法無法端到端的實(shí)現(xiàn)并且耗費(fèi)的計(jì)算資源較大。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測方法，本發(fā)明針對現(xiàn)有檢測方法檢測遮擋行人能力不足的問題，采用多任務(wù)學(xué)習(xí)的方式，在不增加實(shí)際使用時(shí)深度網(wǎng)絡(luò)復(fù)雜度的情況下，提高深度網(wǎng)絡(luò)對遮擋行人的檢測能力，詳見下文描述：

一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測方法，所述方法包括以下步驟：

將行人位置所在的區(qū)域劃分為m*n個(gè)子區(qū)域，按照預(yù)設(shè)規(guī)則將子區(qū)域進(jìn)行組合，獲取多個(gè)組合區(qū)域，將每個(gè)組合區(qū)域定義為行人可見模式；

基于高速區(qū)域卷積網(wǎng)絡(luò)的第一階段網(wǎng)絡(luò)結(jié)構(gòu)，采用同一個(gè)特征提取網(wǎng)絡(luò)提供輸入圖像的深度特征，并聯(lián)多個(gè)檢測網(wǎng)絡(luò)，每一個(gè)檢測網(wǎng)絡(luò)對應(yīng)一種行人可見模式的檢測任務(wù)；

統(tǒng)計(jì)行人檢測場景視頻中各種行人可見模式出現(xiàn)的比例、與每一個(gè)任務(wù)的損失函數(shù)加權(quán)平均，得到總的損失函數(shù)；選取前五種行人可見模式生成訓(xùn)練樣本，分別訓(xùn)練對應(yīng)的區(qū)域推薦子網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)對行人的檢測。

進(jìn)一步地，所述預(yù)設(shè)規(guī)則為：

每個(gè)子區(qū)域僅能與相鄰的子區(qū)域進(jìn)行組合，組合后的區(qū)域?yàn)榫匦巍?/p>