[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的行人檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811335508.1
• 申請(qǐng)日: 2018-11-10
• 公開(kāi)（公告）號(hào): CN109657545B
• 公開(kāi)（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;陳越;侯春萍;彭勃;郭亭佚;牛力杰
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/82;G06N3/04
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)行人檢測(cè)方法，其特征在于，所述方法包括以下步驟：

將行人位置所在的區(qū)域劃分為m*n個(gè)子區(qū)域，按照預(yù)設(shè)規(guī)則將子區(qū)域進(jìn)行組合，獲取多個(gè)組合區(qū)域，將每個(gè)組合區(qū)域定義為行人可見(jiàn)模式；

基于高速區(qū)域卷積網(wǎng)絡(luò)的第一階段網(wǎng)絡(luò)結(jié)構(gòu)，采用同一個(gè)特征提取網(wǎng)絡(luò)提供輸入圖像的深度特征，并聯(lián)多個(gè)檢測(cè)網(wǎng)絡(luò)，每一個(gè)檢測(cè)網(wǎng)絡(luò)對(duì)應(yīng)一種行人可見(jiàn)模式的檢測(cè)任務(wù)；

統(tǒng)計(jì)行人檢測(cè)場(chǎng)景視頻中各種行人可見(jiàn)模式出現(xiàn)的比例、與每一個(gè)任務(wù)的損失函數(shù)加權(quán)平均，得到總的損失函數(shù)；選取前五種行人可見(jiàn)模式生成訓(xùn)練樣本，將訓(xùn)練數(shù)據(jù)集中所有原始的行人位置標(biāo)注按照該行人可見(jiàn)模式區(qū)域進(jìn)行裁剪，獲得新的標(biāo)注作為正樣本；隨機(jī)截取不包含行人位置的圖像區(qū)域按照相同的方式生成對(duì)應(yīng)的負(fù)樣本，分別訓(xùn)練對(duì)應(yīng)的區(qū)域推薦子網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)對(duì)行人的檢測(cè)；

其中，所述預(yù)設(shè)規(guī)則為：

每個(gè)子區(qū)域僅能與相鄰的子區(qū)域進(jìn)行組合，組合后的區(qū)域?yàn)榫匦危?/p>

所述總的損失函數(shù)為：

其中，N為所有的統(tǒng)計(jì)到的可見(jiàn)模式，p_i為第i種行人可見(jiàn)模式出現(xiàn)的比例，為該可見(jiàn)模式檢測(cè)任務(wù)在訓(xùn)練時(shí)得到的損失；在Faster-RCNN第一階段網(wǎng)絡(luò)的基礎(chǔ)上對(duì)檢測(cè)網(wǎng)絡(luò)D進(jìn)行擴(kuò)增，使用同一個(gè)特征提取網(wǎng)絡(luò)F提供輸入圖像的深度特征，但并聯(lián)多個(gè)檢測(cè)網(wǎng)絡(luò)D，每一個(gè)檢測(cè)網(wǎng)絡(luò)D對(duì)應(yīng)一具體的可見(jiàn)模式檢測(cè)任務(wù)，在訓(xùn)練時(shí)使用該模式的訓(xùn)練樣本對(duì)其進(jìn)行優(yōu)化；其中，F(xiàn)aster-RCNN為高速區(qū)域卷積網(wǎng)絡(luò)；

所述前五種行人可見(jiàn)模式具體為：全身、1/2上半身、5/6上身、4/6上身和1/3上身；

所述高速區(qū)域卷積網(wǎng)絡(luò)的第一階段網(wǎng)絡(luò)結(jié)構(gòu)具體為：

前一部分是基于VGG-16的特征提取網(wǎng)絡(luò)，對(duì)應(yīng)特征提取網(wǎng)絡(luò)；

后一部分為一個(gè)包含一個(gè)3*3的卷積層和兩個(gè)1*1的卷積層組成的區(qū)域推薦子網(wǎng)絡(luò)，對(duì)應(yīng)檢測(cè)網(wǎng)絡(luò)。