[發(fā)明專利]基于可見光圖像與紅外圖像融合的行人檢測方法、模型、電子設(shè)備和計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210516263.2
• 申請日: 2022-05-12
• 公開（公告）號: CN114937309A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計）人: 張素民;白日;何睿;劉潔美;李星辰
• 申請（專利權(quán)）人: 吉林大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/22;G06V10/25;G06V10/40;G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/04;G06T3/00;G06T7/80
• 代理公司: 西安知誠思邁知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61237
• 代理人: 何秀娟

本發(fā)明公開了基于可見光圖像與紅外圖像融合的行人檢測方法、模型、電子設(shè)備和計算機可讀介質(zhì)，方法包括：對同步獲取的包含有行人的紅外圖像與可見光圖像進行標(biāo)定、配準(zhǔn)、構(gòu)成公共標(biāo)簽文件；對公共標(biāo)簽文件中的圖像分別進行特征提取，并獲取紅外圖像的ROI信息；將紅外圖像的ROI信息映射到對應(yīng)的可見光圖像的特征圖上，得到融合后的特征圖；對于融合后的特征圖，經(jīng)分類、調(diào)整位置，提取出目標(biāo)類別和識別框，從而實現(xiàn)行人檢測。本發(fā)明融合紅外和光學(xué)特征，并將紅外圖像生成ROI信息映射到可見光圖像提取的特征圖中，結(jié)合了可見光圖像紋理清晰、紅外圖像行人特征顯著的優(yōu)勢，有效地克服了光照條件對行人檢測的影響。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)檢測技術(shù)領(lǐng)域，特別是涉及基于可見光圖像與紅外圖像融合的行人檢測方法、模型、電子設(shè)備和計算機可讀介質(zhì)。

背景技術(shù)

隨著無人駕駛技術(shù)的不斷發(fā)展，汽車駕駛系統(tǒng)對行人檢測能力提出了更高要求。傳統(tǒng)的行人檢測方法基于可見光圖像特征完成行人識別任務(wù)，但可見光圖像在曝光失調(diào)或者行人外觀紋理特征和背景極其相似的條件下，檢測準(zhǔn)確率會顯著下降，甚至造成漏檢、誤檢，從而引發(fā)嚴(yán)重的交通事故。可見光圖像通過反射光獲取行人的顏色和紋理特征，而紅外圖像通過目標(biāo)自身的輻射熱信息獲取行人特征，因而紅外圖像不受光照條件、曝光條件等環(huán)境信息的干擾。但紅外圖像成像分辨率低，無法對檢測目標(biāo)的細節(jié)紋理特征進行捕捉。

中國專利CN202110971334.3提出了一種基于可見光圖像和紅外圖像融合的行人檢測方法，該方法中首先將紅外圖像和可見光圖像采用Dense fuse網(wǎng)絡(luò)進行圖像融合，并生成融合圖像，然后基于改進的YOLOv5算法以融合圖像為輸入進行行人檢測。但該方法沒有考慮融合圖像的真實標(biāo)簽，且在通過可見光圖像和紅外圖像融合生成新圖像的過程中，由于算法的局限性，并不能完全保留二者的相關(guān)特征(出現(xiàn)圖像失真、遺漏特征點等)，導(dǎo)致融合圖像不能真實的反映現(xiàn)實環(huán)境，從而無法直接利用可見光圖像的標(biāo)簽或紅外圖像的標(biāo)簽作為融合圖像的標(biāo)簽進行監(jiān)督學(xué)習(xí)。部分文獻針對此類問題，嘗試加入人工標(biāo)簽，但人工標(biāo)簽是否合理沒有統(tǒng)一的評判標(biāo)準(zhǔn)，較難實現(xiàn)。

中國專利CN201510473667.8提出了一種基于濾波算法的方式，提取圖像信息中的高低頻信息，然后進行組合疊加實現(xiàn)圖像融合，該方法雖然較為簡便，但對所有紅外圖像和可見光圖像進行了無差別融合，不能根據(jù)圖像特點實現(xiàn)“學(xué)習(xí)式”融合，融合方案的適用性差。

中國專利CN201810722036.9提出了一種基于通道疊加的方式完成圖像融合的方法，一般情況下，可見光圖像中的紋理特征和紅外圖像中的梯度信息是各自比較優(yōu)的信息，該方法直接疊加了可見光圖像和紅外圖像的信息，未對信息進行篩選，無法充分融合可見光圖像和紅外圖像的優(yōu)勢。

為了解決上述問題，本申請?zhí)岢隽艘环N基于可見光圖像與紅外圖像融合的行人檢測方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于可見光圖像與紅外圖像融合的行人檢測方法，設(shè)計了紅外相機和光學(xué)相機標(biāo)定方案，可以更好的融合紅外和光學(xué)特征，并且將紅外圖像生成ROI信息映射到可見光圖像提取的特征圖中，結(jié)合了可見光圖像紋理清晰、紅外圖像行人特征顯著的優(yōu)勢，可以有效的克服光照條件對行人檢測的影響，解決了現(xiàn)有技術(shù)中行人檢測方法存在的問題。

本發(fā)明所采用的技術(shù)方案是，基于可見光圖像與紅外圖像融合的行人檢測方法，包括：

同步獲取包含有行人的紅外圖像與可見光圖像；

對獲取的紅外圖像與可見光圖像進行標(biāo)定、配準(zhǔn)；

配準(zhǔn)的紅外圖像與對應(yīng)的可見光圖像組成數(shù)據(jù)對，各數(shù)據(jù)對構(gòu)成公共標(biāo)簽文件；

對公共標(biāo)簽文件中的紅外圖像和可見光圖像分別進行特征提取，獲得各自的特征圖，并獲取其中紅外圖像的ROI信息；

將紅外圖像的ROI信息映射到對應(yīng)的可見光圖像的特征圖上，得到融合后的特征圖；