[發(fā)明專利]一種基于目標預提取的無人機紅外與可見光圖像融合方法

在審

• 申請?zhí)枺?/td>: 201811243536.0
• 申請日: 2018-10-24
• 公開（公告）號: CN109584193A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計）人: 吳國強;包文龍;馬祥森;黃坤;郭茜;尹中義
• 申請（專利權(quán)）人: 航天時代飛鴻技術(shù)有限公司;中國航天電子技術(shù)研究院
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/11
• 代理公司: 北京金智普華知識產(chǎn)權(quán)代理有限公司 11401
• 代理人: 皋吉甫

本發(fā)明屬于圖像處理、計算機視覺領(lǐng)域，涉及一種基于目標預提取的無人機紅外與可見光圖像融合方法；采用基于圖像梯度互信息的配準算法對無人機紅外圖像和可見光圖像進行配準；采用基于頻譜殘留的目標預提取算法對配準后的紅外圖像和可見光圖像進行目標預提?。徊捎脜^(qū)域分塊融合算法對配準后的紅外圖像和可見光圖像的預提取區(qū)域進行圖像融合。本發(fā)明有效地解決了紅外圖像和可見光圖像因視角或視場不同無法進行融合的問題，避免了整幅圖像參與融合運算，降低了算法計算量；在不對圖像進行分解變換的前提下，將目標預提取區(qū)域進行均勻分割，以預提取區(qū)域的顯著性為基礎(chǔ)分別計算各分割子區(qū)域的融合權(quán)重的方式更具科學性，融合結(jié)果更具真實性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理、計算機視覺領(lǐng)域，涉及一種無人機航拍視頻中的紅外與可見光圖像融合的基于目標預提取的無人機紅外與可見光圖像融合方法。

技術(shù)背景

近年來，無人機作為一支新興作戰(zhàn)力量，在信息化作戰(zhàn)條件下發(fā)揮了不可替代的作用，大力發(fā)展無人機裝備技術(shù)，對于提升部隊作戰(zhàn)能力具有重大的戰(zhàn)略意義。伴隨傳感器普遍使用以及傳感器成像技術(shù)的日益增強，在無人機上搭載成像傳感器，使得無人機在軍事、民用領(lǐng)域有著突破性的進展應(yīng)用。由于光照、氣候等環(huán)境的條件限制，單源傳感器拍攝的圖像會受到一定的影響導致目標的誤判，現(xiàn)在已經(jīng)無法滿足實際應(yīng)用需求，多源傳感器獲取的圖像融合技術(shù)能夠獲取更全面、更可靠的圖像數(shù)據(jù)。無人機航拍圖像下的多源圖像融合技術(shù)能夠把紅外與可見光圖像的信息充分結(jié)合起來，使得融合圖像結(jié)果更精確、更豐富、更理想，能夠為無人機目標檢測、目標跟蹤、遙感探測、地質(zhì)勘探和毀傷評估等技術(shù)提供強大支持。高效準確的融合算法，可以有效地豐富圖像信息，增加圖像的清晰度、對比度和目標可識別性，快速提高作戰(zhàn)信息提取能力和系統(tǒng)偵察能力。

目前在以視覺處理為基礎(chǔ)的異源圖像融合算法的主要步驟有：圖像預處理、圖像配準、信息處理、圖像融合以及識別決策。依據(jù)融合在處理過程中所處的階段，按信息抽象的程度，從目標識別層上，異源圖像融合一般可分為三個層次：像素級圖像融合、特征級圖像融合和決策級圖像融合。像素級的融合是指對同一像素級灰度的同個場景的異源圖像進行融合處理，融合之前必須對待融合圖像實施預處理和圖像配準，以此提高融合的可靠性和精度；特征級融合是指先對原始圖像進行局部特征提取，然后通過對局部特征進行融合處理獲得復合特征，特征通常為圖像的紋理、邊緣、相似區(qū)域等。決策級圖像融合需要先對各個源圖像進行預處理、特征提取、識別或判決。在每個傳感器完成目標提取與分類之后，最優(yōu)決策通過綜合各個傳感器的決策可信度來確定。特征級的融合并沒有融合圖像信息的全部，融合時往往是忽略了圖像全局信息，融合不充分；決策級圖像融合是建立決策函數(shù)需要的樣本進行長時間推理運算，需要耗費大量時間和占用大量內(nèi)存，而像素級融合技術(shù)在以上三個融合層次中應(yīng)用較為廣泛，雖然所需處理的信息量大，對傳感器性能要求較高，但融合準確性上優(yōu)于特征級和決策級的融合。

紅外圖像與可見光圖像是無人機機載傳感器上拍攝的兩類常見異源圖像，所成圖像的視角和視場不盡相同，其圖像信息具有無序性和分布多樣性的特點，包含有大量冗余信息，真正的偵察目標區(qū)域卻只占少數(shù)，而且目標所占像素數(shù)不多，占整個圖像比例較小，將整幅圖像參與到融合處理中勢必會加大算法計算量，造成融合系統(tǒng)運行效率低和偵察目標區(qū)域融合后的特征或?qū)Ρ榷炔幻黠@等現(xiàn)象，不適用于實際偵察任務(wù)中的準確性要求。

綜上所述，在無人機視頻圖像處理系統(tǒng)中，紅外圖像與可見光圖像的融合技術(shù)目前面臨以下問題：

1)無人機航拍偵察中，紅外圖像傳感器和可見光圖像傳感器所成圖像的視角或視場不盡相同，直接進行融合沒有意義；

2)無人機航拍視頻圖像包含有大量冗余信息，真正的偵察目標區(qū)域卻只占少數(shù)，而且目標所占像素數(shù)不多，占整個圖像比例較小，將整幅圖像參與到融合處理中勢必會加大算法計算量；

3)將整幅圖像參與到融合處理中，融合算法沒有目標性和針對性，融合的圖像中的無人機重點偵察目標區(qū)域沒有太高的區(qū)分度和可識別性；