[發(fā)明專利]一種特征圖深度融合的人車目標(biāo)檢測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911055857.2
• 申請(qǐng)日: 2019-10-31
• 公開（公告）號(hào): CN111008562B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 魏運(yùn);高國飛;陳明鈿;鄭宣傳
• 申請(qǐng)（專利權(quán)）人: 北京城建設(shè)計(jì)發(fā)展集團(tuán)股份有限公司
• 主分類號(hào): G06V20/54
• 分類號(hào): G06V20/54;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種特征圖深度融合的人車目標(biāo)檢測方法，其特征是步驟包括：

1）采集行人和車輛的圖像；

2）步驟1）的圖像輸入到訓(xùn)練好的分類網(wǎng)絡(luò)中來獲取特征金字塔；

3）特征金字塔進(jìn)入檢測回歸網(wǎng)絡(luò)后，提取特征金字塔頂端的特征圖，并對(duì)這一尺度的特征圖進(jìn)行上采樣，對(duì)其尺度進(jìn)行轉(zhuǎn)換后，與上一尺度的特征圖的最后一層合并，構(gòu)成新的特征圖；

4）通過兩個(gè)卷積層進(jìn)行特征提取，最后生成作為預(yù)測層的特征圖，然后繼續(xù)進(jìn)行上采樣，構(gòu)建用于生成預(yù)測結(jié)果的特征圖；

5）在步驟4）得到的特征圖上生成預(yù)選結(jié)果，并計(jì)算每個(gè)包圍框的置信度；

置信度用于最后的結(jié)果評(píng)價(jià)指標(biāo)，預(yù)測結(jié)果通過平移和上下移動(dòng)確定出最后的預(yù)測結(jié)果，通過非極大值抑制篩選出預(yù)測框；檢測結(jié)果以矩形目標(biāo)檢測框表示，包括檢測框在圖像中的位置和大小；

所述步驟2）中，經(jīng)步驟1）增強(qiáng)處理后的圖像進(jìn)入分類網(wǎng)絡(luò)；經(jīng)過多層卷積，提取圖像特征信息，生成不同尺度的特征圖，形成特征金字塔；

分類網(wǎng)絡(luò)的設(shè)計(jì)方法為：

2.1）分類網(wǎng)絡(luò)由卷積層和池化層組成，多個(gè)不同尺度的卷積層通過多個(gè)NIN的結(jié)構(gòu)連接提取特征；來自步驟1）的圖像進(jìn)入改進(jìn)的分類網(wǎng)絡(luò)，并通過最大池化進(jìn)行特征壓縮增大感受野，生成不同尺度的特征圖，構(gòu)成特征金字塔；

所述NIN結(jié)構(gòu)是在每個(gè)傳統(tǒng)卷積層后面接了兩個(gè)1×1的卷積層，進(jìn)行跨通道信息整合；

2.2）調(diào)整輸入圖像的尺寸，保證最終得到的特征圖尺寸為13*13；頂層特征圖只有一個(gè)中心位置；

2.3）輸入圖像通過多個(gè)3*3結(jié)合1*1的卷積結(jié)構(gòu)形成新的特征圖；其中，多個(gè)3*3的卷積層級(jí)聯(lián)；

2.4）新的特征圖經(jīng)過最大池化層，以此保留主要的特征同時(shí)降低了特征維度和計(jì)算量，壓縮數(shù)據(jù)和參數(shù)的數(shù)量；

2.5）分類網(wǎng)絡(luò)結(jié)構(gòu)是由13個(gè)卷積層和5個(gè)最大池化層組成；通過池化層，使得特征圖壓縮成了13*13，降低特征維度；

所述步驟3）中，檢測回歸網(wǎng)絡(luò)的設(shè)計(jì)方法為：

3.1）根據(jù)行人和車輛的待檢測目標(biāo)的尺寸特性，設(shè)計(jì)檢測回歸網(wǎng)絡(luò)，根據(jù)檢測目標(biāo)尺寸的分布特點(diǎn)，選取三種不同尺寸的特征圖，包含13*13，26*26，52*52；

對(duì)特征金字塔頂層的特征圖進(jìn)行上采樣并與底層特征圖進(jìn)行通道合并，將深層和淺層的信息深度融合，作為驗(yàn)證，預(yù)測結(jié)果；

3.2）用上采樣調(diào)整特征圖的尺寸，使得待融合的兩層特征圖尺寸一致；

3.3）新的特征圖再通過兩個(gè)卷積層進(jìn)行特征提取，最后生成作為預(yù)測層的特征圖；

3.4）將靠前生成的特征圖進(jìn)行變形統(tǒng)一尺寸后與深層的特征圖進(jìn)行合并，統(tǒng)一通道數(shù)后再和前面生成的該尺寸特征圖進(jìn)行多步卷積，將信息深度融合并提取。

2.根據(jù)權(quán)利要求1所述的人車目標(biāo)檢測方法，其特征是所述步驟1）中，進(jìn)行行人和車輛數(shù)據(jù)采集，采用旋轉(zhuǎn)、翻轉(zhuǎn)及隨機(jī)裁剪的數(shù)據(jù)增廣的方法擴(kuò)大樣本，每三十到六十幀截取一張圖像。

3.根據(jù)權(quán)利要求1所述的人車目標(biāo)檢測方法，其特征是所述步驟2.1）中，不同尺度的特征圖的生成方法為，圖像進(jìn)入分類網(wǎng)絡(luò)，每經(jīng)過一層卷積或池化操作會(huì)得到新的尺度的特征圖。

4.根據(jù)權(quán)利要求1所述的人車目標(biāo)檢測方法，其特征是所述步驟4）的三個(gè)預(yù)測層的特征圖的尺寸分別為13*13,26*26和52*52，分別用來預(yù)測小、中、大三個(gè)尺寸的目標(biāo)。