[發(fā)明專利]基于可見光圖像與紅外圖像融合的行人檢測(cè)方法、模型、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210516263.2
• 申請(qǐng)日: 2022-05-12
• 公開（公告）號(hào): CN114937309A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計(jì)）人: 張素民;白日;何睿;劉潔美;李星辰
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V40/10;G06V10/22;G06V10/25;G06V10/40;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/04;G06T3/00;G06T7/80
• 代理公司: 西安知誠(chéng)思邁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61237
• 代理人: 何秀娟

本發(fā)明公開了基于可見光圖像與紅外圖像融合的行人檢測(cè)方法、模型、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)，方法包括：對(duì)同步獲取的包含有行人的紅外圖像與可見光圖像進(jìn)行標(biāo)定、配準(zhǔn)、構(gòu)成公共標(biāo)簽文件；對(duì)公共標(biāo)簽文件中的圖像分別進(jìn)行特征提取，并獲取紅外圖像的ROI信息；將紅外圖像的ROI信息映射到對(duì)應(yīng)的可見光圖像的特征圖上，得到融合后的特征圖；對(duì)于融合后的特征圖，經(jīng)分類、調(diào)整位置，提取出目標(biāo)類別和識(shí)別框，從而實(shí)現(xiàn)行人檢測(cè)。本發(fā)明融合紅外和光學(xué)特征，并將紅外圖像生成ROI信息映射到可見光圖像提取的特征圖中，結(jié)合了可見光圖像紋理清晰、紅外圖像行人特征顯著的優(yōu)勢(shì)，有效地克服了光照條件對(duì)行人檢測(cè)的影響。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)檢測(cè)技術(shù)領(lǐng)域，特別是涉及基于可見光圖像與紅外圖像融合的行人檢測(cè)方法、模型、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

隨著無人駕駛技術(shù)的不斷發(fā)展，汽車駕駛系統(tǒng)對(duì)行人檢測(cè)能力提出了更高要求。傳統(tǒng)的行人檢測(cè)方法基于可見光圖像特征完成行人識(shí)別任務(wù)，但可見光圖像在曝光失調(diào)或者行人外觀紋理特征和背景極其相似的條件下，檢測(cè)準(zhǔn)確率會(huì)顯著下降，甚至造成漏檢、誤檢，從而引發(fā)嚴(yán)重的交通事故?？梢姽鈭D像通過反射光獲取行人的顏色和紋理特征，而紅外圖像通過目標(biāo)自身的輻射熱信息獲取行人特征，因而紅外圖像不受光照條件、曝光條件等環(huán)境信息的干擾。但紅外圖像成像分辨率低，無法對(duì)檢測(cè)目標(biāo)的細(xì)節(jié)紋理特征進(jìn)行捕捉。

中國(guó)專利CN202110971334.3提出了一種基于可見光圖像和紅外圖像融合的行人檢測(cè)方法，該方法中首先將紅外圖像和可見光圖像采用Dense fuse網(wǎng)絡(luò)進(jìn)行圖像融合，并生成融合圖像，然后基于改進(jìn)的YOLOv5算法以融合圖像為輸入進(jìn)行行人檢測(cè)。但該方法沒有考慮融合圖像的真實(shí)標(biāo)簽，且在通過可見光圖像和紅外圖像融合生成新圖像的過程中，由于算法的局限性，并不能完全保留二者的相關(guān)特征(出現(xiàn)圖像失真、遺漏特征點(diǎn)等)，導(dǎo)致融合圖像不能真實(shí)的反映現(xiàn)實(shí)環(huán)境，從而無法直接利用可見光圖像的標(biāo)簽或紅外圖像的標(biāo)簽作為融合圖像的標(biāo)簽進(jìn)行監(jiān)督學(xué)習(xí)。部分文獻(xiàn)針對(duì)此類問題，嘗試加入人工標(biāo)簽，但人工標(biāo)簽是否合理沒有統(tǒng)一的評(píng)判標(biāo)準(zhǔn)，較難實(shí)現(xiàn)。

中國(guó)專利CN201510473667.8提出了一種基于濾波算法的方式，提取圖像信息中的高低頻信息，然后進(jìn)行組合疊加實(shí)現(xiàn)圖像融合，該方法雖然較為簡(jiǎn)便，但對(duì)所有紅外圖像和可見光圖像進(jìn)行了無差別融合，不能根據(jù)圖像特點(diǎn)實(shí)現(xiàn)“學(xué)習(xí)式”融合，融合方案的適用性差。

中國(guó)專利CN201810722036.9提出了一種基于通道疊加的方式完成圖像融合的方法，一般情況下，可見光圖像中的紋理特征和紅外圖像中的梯度信息是各自比較優(yōu)的信息，該方法直接疊加了可見光圖像和紅外圖像的信息，未對(duì)信息進(jìn)行篩選，無法充分融合可見光圖像和紅外圖像的優(yōu)勢(shì)。

為了解決上述問題，本申請(qǐng)?zhí)岢隽艘环N基于可見光圖像與紅外圖像融合的行人檢測(cè)方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于可見光圖像與紅外圖像融合的行人檢測(cè)方法，設(shè)計(jì)了紅外相機(jī)和光學(xué)相機(jī)標(biāo)定方案，可以更好的融合紅外和光學(xué)特征，并且將紅外圖像生成ROI信息映射到可見光圖像提取的特征圖中，結(jié)合了可見光圖像紋理清晰、紅外圖像行人特征顯著的優(yōu)勢(shì)，可以有效的克服光照條件對(duì)行人檢測(cè)的影響，解決了現(xiàn)有技術(shù)中行人檢測(cè)方法存在的問題。

本發(fā)明所采用的技術(shù)方案是，基于可見光圖像與紅外圖像融合的行人檢測(cè)方法，包括：

同步獲取包含有行人的紅外圖像與可見光圖像；

對(duì)獲取的紅外圖像與可見光圖像進(jìn)行標(biāo)定、配準(zhǔn)；

配準(zhǔn)的紅外圖像與對(duì)應(yīng)的可見光圖像組成數(shù)據(jù)對(duì)，各數(shù)據(jù)對(duì)構(gòu)成公共標(biāo)簽文件；

對(duì)公共標(biāo)簽文件中的紅外圖像和可見光圖像分別進(jìn)行特征提取，獲得各自的特征圖，并獲取其中紅外圖像的ROI信息；

將紅外圖像的ROI信息映射到對(duì)應(yīng)的可見光圖像的特征圖上，得到融合后的特征圖；