[發明專利]基于特征引導的紅外與可見光的圖像信息融合方法及裝置

在審

• 申請號: 201911329285.2
• 申請日: 2019-12-20
• 公開（公告）號: CN111179209A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 錢琨;楊俊彥;余躍;逄浩君
• 申請（專利權）人: 上海航天控制技術研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 李明澤

本發明實施例提供了一種基于特征引導的紅外與可見光的圖像信息融合方法及裝置。所述方法包括：獲取目標對象對應的原始紅外圖像和原始可見光圖像；對所述原始紅外圖像進行拆分，生成多個目標圖像子塊；根據所述多個目標圖像子塊進行圖像背景估計，生成所述目標對象對應的紅外背景圖像；根據所述原始紅外圖像和所述紅外背景圖像，確定目標圖像；根據所述原始可見光圖像和所述原始紅外圖像，確定前景圖像；基于所述目標圖像、所述前景圖像和所述原始可見光圖像中的可見光信息，確定最終的融合結果。本發明實施例可以在保護圖像邊緣信息的同時，還能夠抑制背景雜波信息。

技術領域

本發明涉及圖像處理技術領域，特別是一種基于特征引導的紅外與可見光 的圖像信息融合方法及裝置。

背景技術

圖像融合已被廣泛應用于交通監控、目標識別、醫學成像等領域，其主要 任務是將多個傳感器對同一場景圖像信息進行整合，以提高成像清晰度。紅外 與可見光圖像融合作為多源信息融合的一個重要分支，成為圖像領域的研究熱 點。

紅外圖像的背景呈現非平穩的空間分布，如明亮的地面背景或海面背景、 起伏的云層背景和各種雜波等，所處其中的飛機、導彈等目標在紅外探測器像 平面上僅占幾個像素，又缺少形狀、紋理等信息，易于淹沒在復雜背景中。而 可見光相機獲取的視覺圖像提供了場景的大量細節信息，但目標定位卻易于受 相似顏色特征的影響，且一般只能在光照條件較好的環境下可有效工作。

由此可見，單一的傳感器探測系統的主要技術手段都具有自己的優缺點， 單種探測方式通常難以滿足任意天候、任意時段、任意地點的探測要求。因此， 采用多探測系統信息融合的方式進行目標探測與識別是一種更為理想的手段。

傳統的紅外與可見光圖像融合方法主要有基于區域的方法和基于多尺度分 解的算法。前者是利用分割算法將源圖像分為多區域，對各個區域的顯著信息 進行融合，但該算法很難清楚地表現邊緣紋理；多尺度分解的融合算法有基于 金字塔、小波分解、形態學方法以及支持度變換等算法。這些算法均是提取了 兩種圖像的多尺度特征，在多尺度空間進行信息融合。但在低光照環境下，此 類算法常丟失許多視覺圖像信息，從而導致融合結果的場景模糊問題。由此， Zhang Yu等人在2017年的《Infrared Physics andTechnology》上發表的 《Infrared and visual image fusion through infraredfeature extraction and visual information preservation》中，采用紅外圖像特征提取和視覺信息保留不 失為一種融合策略。該算法采用分塊的貝塞爾插值方法來估計目標圖像，并通 過疊加前景圖像融入了視覺信息。但簡單疊加容易導致前景圖像所含背景信息， 一定程度上弱化目標信息，從而降低融合圖像的清晰度。

綜上所述，視覺圖像難以探測隱藏目標，但提供了場景細節信息；而紅外 圖像疏于對真實場景的理解，但突出‘熱’目標信息。

發明內容

本發明解決的技術問題是：克服現有技術中視覺圖像難以探測隱藏目標， 但提供了場景細節信息；而紅外圖像疏于對真實場景的理解，但突出‘熱’目 標信息的不足，提供了一種基于特征引導的紅外與可見光的圖像信息融合方法 及裝置。

為了解決上述技術問題，本發明實施例提供了一種基于特征引導的紅外與 可見光的圖像信息融合方法，包括：

獲取目標對象對應的原始紅外圖像和原始可見光圖像；

對所述原始紅外圖像進行拆分，生成多個目標圖像子塊；

根據所述多個目標圖像子塊進行圖像背景估計，生成所述目標對象對應的 紅外背景圖像；

根據所述原始紅外圖像和所述紅外背景圖像，確定目標圖像；

根據所述原始可見光圖像和所述原始紅外圖像，確定前景圖像；