[發(fā)明專利]紅外與可見光圖像配準(zhǔn)方法、系統(tǒng)、設(shè)備、圖像處理終端

在審

• 申請?zhí)枺?/td>: 202210029468.8
• 申請日: 2022-01-12
• 公開（公告）號(hào): CN114529593A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 王斌;牛興振;郭盛林
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06V10/25;G06V10/46;G06V10/74;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 何畏

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，公開了一種紅外與可見光圖像配準(zhǔn)方法、系統(tǒng)、設(shè)備、圖像處理終端，包括：(1)采集紅外圖像與可見光圖像；(2)構(gòu)建訓(xùn)練數(shù)據(jù)集，構(gòu)建并訓(xùn)練條件生成對(duì)抗神經(jīng)網(wǎng)絡(luò)；(3)利用YOLOv5網(wǎng)絡(luò)檢測可見光圖像目標(biāo)；(4)利用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)從可見光圖像生成偽紅外圖像；(5)加速魯棒特征(SURF)算法構(gòu)建特征描述子，運(yùn)用暴力匹配法構(gòu)建匹配模型；(6)通過距離、斜率一致性過濾誤匹配點(diǎn)；(7)運(yùn)用隨機(jī)抽樣一致性(RANSAC)算法估計(jì)變換參數(shù)完成配準(zhǔn)。本發(fā)明能夠?qū)δ繕?biāo)尺寸差異較大、背景復(fù)雜的紅外與可見光圖像完成較為精準(zhǔn)的配準(zhǔn)，是一種實(shí)用的紅外與可見光圖像配準(zhǔn)的解決方案。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種紅外與可見光圖像配準(zhǔn)方法、系統(tǒng)、設(shè)備、圖像處理終端。本發(fā)明的方法可用于目標(biāo)尺寸差異較大、背景復(fù)雜的紅外與可見光圖像配準(zhǔn)任務(wù)。

背景技術(shù)

目前，來源于不同成像設(shè)備的多模態(tài)圖像能提供比單模態(tài)圖像更加豐富和全面的信息，人們對(duì)各種圖像信息的整合與利用的需求越來越大。圖像配準(zhǔn)是指依據(jù)一些相似性度量決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時(shí)間獲取的同一場景的兩幅或多幅圖像，變換到同一坐標(biāo)系下，在像素層上得到最佳匹配的過程。圖像配準(zhǔn)技術(shù)是為后續(xù)圖像拼接、圖像融合等圖像處理任務(wù)提供操作基準(zhǔn)的核心技術(shù)，是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究問題。

紅外與可見光圖像配準(zhǔn)作為一類重要的多傳感器圖像配準(zhǔn)方法，在計(jì)算機(jī)視覺、機(jī)器人、電力設(shè)備故障檢測、遙感及軍事應(yīng)用等領(lǐng)域發(fā)揮著重要作用。然而，由于紅外圖像和可見光圖像在分辨率和色彩上存在的巨大差異，使得紅外圖像與可見光圖像的配準(zhǔn)較難實(shí)現(xiàn)，其中，在分辨率上，紅外圖像大都在“500x960”內(nèi)，遠(yuǎn)低于可見光圖像的“2160x3840”分辨率，這導(dǎo)致紅外圖像灰度細(xì)節(jié)丟失嚴(yán)重、圖像模糊，與可見光灰度圖像中清晰的紋理具有較大差異。另外，紅外圖像與可見光圖像由于成像機(jī)理不同，在可見光波段，圖像對(duì)比度由反射率和陰影決定；在紅外波段，對(duì)比度由發(fā)射率和溫度決定，特別是作為溫差的一個(gè)結(jié)果，對(duì)比度可以在很大的范圍內(nèi)變化，這導(dǎo)致異源圖像中色彩表現(xiàn)差異較大。

針對(duì)紅外圖像與可見光圖像目標(biāo)信息存在巨大差異以及只利用SURF特征描述子精度低、魯棒性差等問題，期望獲得一種新的配準(zhǔn)方法可用于目標(biāo)尺寸差異較大、背景復(fù)雜的紅外與可見光圖像配準(zhǔn)。

通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：現(xiàn)有紅外圖像與可見光圖像目標(biāo)信息存在巨大差異以及只利用SURF特征描述子精度低、魯棒性差。

解決以上問題及缺陷的難度為：使用現(xiàn)有技術(shù)解決分辨率和色彩差異較大且背景復(fù)雜的紅外與可見光圖像配準(zhǔn)難度較大，配準(zhǔn)精度較低、魯棒性較差，目前未有一個(gè)較好的解決方案。

解決以上問題及缺陷的意義為：本發(fā)明提供了一個(gè)實(shí)用的解決方案，提高了紅外與可見光圖像配準(zhǔn)精度和魯棒性，有效解決了目標(biāo)信息存在巨大差異、背景復(fù)雜的紅外與可見光圖像配準(zhǔn)問題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種紅外與可見光圖像配準(zhǔn)方法、系統(tǒng)、設(shè)備、圖像處理終端。

本發(fā)明是這樣實(shí)現(xiàn)的，一種紅外與可見光圖像配準(zhǔn)方法，所述紅外與可見光圖像配準(zhǔn)方法利用YOLOv5網(wǎng)絡(luò)檢測出可見光圖像中的目標(biāo)大致區(qū)域，利用條件生成對(duì)抗網(wǎng)絡(luò)將可見光圖像進(jìn)行模態(tài)轉(zhuǎn)換成偽紅外圖像，基于SURF描述子構(gòu)建紅外圖像對(duì)的特征描述并運(yùn)用暴力匹配構(gòu)建匹配模型，接著運(yùn)用距離約束和斜率一致性對(duì)匹配點(diǎn)進(jìn)行過濾，最后利用隨機(jī)抽樣一致性RANSAC算法進(jìn)行單應(yīng)性變換的參數(shù)估計(jì)并對(duì)真實(shí)紅外圖像完成配準(zhǔn)。

進(jìn)一步，所述紅外與可見光圖像配準(zhǔn)方法包括以下步驟：

步驟一，采集紅外圖像與可見光圖像；

步驟二，構(gòu)建訓(xùn)練數(shù)據(jù)集和條件生成對(duì)抗網(wǎng)絡(luò)并訓(xùn)練；