[發(fā)明專利]一種基于特征融合深度神經(jīng)網(wǎng)絡(luò)的多光譜行人檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010573215.8
• 申請(qǐng)日: 2020-06-22
• 公開（公告）號(hào): CN111898427A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 耿杰;周書倩;蔣雯;鄧鑫洋;孫祎蕓;田欣雨;楊藝云;宋麗娜
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

本發(fā)明公開了一種基于特征融合深度神經(jīng)網(wǎng)絡(luò)的多光譜行人檢測(cè)方法，包括以下步驟：步驟一、分別提取多光譜圖像的特征信息；步驟二、特征信息融合得到第三張量；步驟三、對(duì)第三張量進(jìn)行卷積操作，得到第四張量；步驟四、改進(jìn)Faster R?CNN網(wǎng)絡(luò)作為行人檢測(cè)模型；步驟五、將第四張量輸入到改進(jìn)后的Faster R?CNN算法中，輸出行人檢測(cè)結(jié)果。本發(fā)明結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理，融合可見光圖像和紅外圖像的特征信息形成互補(bǔ)，采用focal loss損失函數(shù)改進(jìn)Faster R?CNN算法中RCNN的交叉熵?fù)p失函數(shù)，不僅解決正負(fù)樣本不平衡的問題，而且合理度量難分類和易分類樣本，采用KL loss損失函數(shù)改進(jìn)Faster R?CNN算法的邊框回歸損失函數(shù)，降低邊界框回歸器在模糊邊界框上的損失。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于特征融合深度神經(jīng)網(wǎng)絡(luò)的多光譜行人檢測(cè)方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來，計(jì)算機(jī)視覺在我們生活的方方面面都得到廣泛應(yīng)用，它是一門通過使用計(jì)算機(jī)代替人眼，對(duì)目標(biāo)進(jìn)行檢測(cè)識(shí)別跟蹤等目的學(xué)科。基于計(jì)算機(jī)視覺的行人檢測(cè)是自動(dòng)駕駛、夜間駕駛應(yīng)用中非常重要的一部分。行人檢測(cè)作為目標(biāo)檢測(cè)的一個(gè)重要分支，是對(duì)圖像或者視頻中的行人進(jìn)行檢測(cè)，目的在于確定行人的位置和大小，從而可用于后續(xù)目標(biāo)軌跡分析，對(duì)于規(guī)范交通減少車輛事故，提高車輛流動(dòng)效率，減少能源損耗和排放等方面都有著非常重要的作用。

全時(shí)段的行人檢測(cè)技術(shù)是車載視覺系統(tǒng)中非常重要的模式，但目前國(guó)內(nèi)的絕大多數(shù)車載視覺系統(tǒng)都是基于可見光來實(shí)現(xiàn)行人檢測(cè)，而這種系統(tǒng)在夜間行駛中存在很大的弊端。

紅外成像主要是利用紅外攝像機(jī)采集目標(biāo)與背景的自身輻射熱量的情況，其根據(jù)不同的紅外光源，可以分為被動(dòng)和主動(dòng)紅外技術(shù)。在國(guó)內(nèi)紅外攝像起步比較晚，在2003年才開始快速發(fā)展，因?yàn)樵靸r(jià)較高，主要用于軍事方面，民用較少。被動(dòng)紅外技術(shù)是根據(jù)目標(biāo)與背景的不同熱輻度強(qiáng)度形成圖像，利用目標(biāo)和背景之間的溫度差來突出目標(biāo)。被動(dòng)紅外熱像儀接收的工作波段為8～14um，而人體發(fā)出的紅外線波段為9.3um，因此紅外圖像成為基于視覺進(jìn)行全時(shí)段行人檢測(cè)的重要手段。紅外成像技術(shù)有許多可見光成像技術(shù)沒有的優(yōu)點(diǎn)，它不受光照條件的變化，對(duì)夜晚目標(biāo)識(shí)別有幫助，有穿透霧、霾、煙的能力，不受閃光、強(qiáng)光的影響，并在夜間也能正常工作，比可見光圖像有更廣的適用面。

現(xiàn)如今人們對(duì)駕駛安全的要求越來越高，基于可見光來實(shí)現(xiàn)行人檢測(cè)的系統(tǒng)在全時(shí)段的應(yīng)用弊端已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域的重要解決問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種基于特征融合深度神經(jīng)網(wǎng)絡(luò)的多光譜行人檢測(cè)方法，其結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理，融合可見光圖像和紅外圖像的特征信息，可以彌補(bǔ)各自的缺陷，采用focal loss損失函數(shù)改進(jìn)Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)中RCNN的交叉熵?fù)p失函數(shù)，不僅解決正負(fù)樣本不平衡的問題，而且合理度量難分類和易分類樣本，采用KL loss損失函數(shù)改進(jìn)Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)的邊框回歸損失函數(shù)，降低邊界框回歸器在模糊邊界框上的損失。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種基于特征融合深度神經(jīng)網(wǎng)絡(luò)的多光譜行人檢測(cè)方法，其特征在于，包括以下步驟：

步驟一、分別提取多光譜圖像的特征信息：

步驟101、提取可見光圖像的特征信息，得到第一張量；

步驟102、提取紅外圖像的特征信息，得到第二張量；

步驟二、特征信息融合：對(duì)第一張量和第二張量進(jìn)行融合得到第三張量；

步驟三、對(duì)第三張量進(jìn)行卷積操作，得到第四張量；

步驟四、改進(jìn)Faster R-CNN網(wǎng)絡(luò)作為行人檢測(cè)模型：

步驟401、采用focal loss損失函數(shù)改進(jìn)Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)中RCNN的交叉熵?fù)p失函數(shù)；