[發明專利]一種復雜背景下紅外與可見光圖像配準的方法

在審

• 申請號: 202210943130.3
• 申請日: 2022-08-08
• 公開（公告）號: CN115409877A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 馬世偉;汪洋
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/13;G06V10/74;G06N3/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

本發明公開了一種復雜背景下紅外與可見光圖像配準的方法。該方法針對復雜背景下紅外與可見光圖像的非線性強度差異大、相似性低和配準難度大的問題，首先通過灰度分布窗(GDW)分別提取源圖像的邊緣特征圖像，排除了背景區域信息的干擾，減少了重疊區域灰度值配對的種類；然后構造了一種基于GDW與歸一化互信息(NMI)相結合的相似性度量函數(GDW?NMI)，將圖像配準問題轉化為求解相似性度量最優解的問題，其局部極值干擾小、全局最優解突出；最后利用一種改進的并行搜索狼群算法(PSWPA)，可通過步長調整和多維度并行搜索策略求得GDW?NMI的全局最優解，作為圖像配準的幾何變換參數，實現了紅外圖像與可見光圖像的準確配準。

技術領域

本發明屬于采用熱紅外和可見光圖像進行設備狀態監測、安防監控、環境監測、軍事偵查等技術領域，具體涉及一種基于互信息相似性度量及智能優化算法的可用于復雜背景下紅外與可見光圖像配準的方法。

背景技術

熱紅外與可見光傳感器成像特點以及應用場景上具有良好的互補性，基于紅外與可見光兩種模態圖像的目標檢測和識別技術具有重要的應用價值。由于紅外和可見光這兩種傳感器拍攝的圖像往往是松散相關的，在成像中表現出不同的特性，且在成像場景中的目標物也存在空間位置、角度以及尺寸上的差異，需要利用圖像配準技術來消除紅外與可見光圖像之間在幾何空間上存在的偏差，使融合圖像場景中每一個空間點在紅外圖像與可見光圖像中具有相同的像素點位置，也就是實現幾何對齊。利用紅外與可見光的配準和融合技術，可以生成一幅包含被觀測場景中重要特征、信息更豐富的圖像。現有的圖像配準方法有兩大類：一是基于特征的圖像配準方法，另一是基于區域的圖像配準方法。基于特征的方法使用描述算子提取兩幅圖像的顯著特征，并利用特征匹配算法建立圖像間的空間變換關系；而基于區域的方法則是使用相似性度量來判斷圖像整體的相似程度，并通過不斷尋找最大相似性度量值的方式得到圖像配準的最佳結果。

由于紅外與可見光成像原理的差異，兩種模態的圖像間存在較大非線性強度差，適合采用基于區域的圖像配準方法，具有對圖像的質量和內容要求低、抗干擾能力強等優勢。但是，實際應用中的戶外目標物體往往受到場景中復雜背景如樹木、葉簇、云彩、建筑物、周邊設備等的影響，使得采集到相同場景的兩種模態圖像在灰度層面的背景、紋理及輪廓等相似程度大為降低，這種復雜背景的情況造成圖像配準困難、準確率較低。

由于復雜背景區域通常是紅外圖像與可見光圖像細節差異最大的地方，現有的基于區域的配準技術中采用常規的Soble和Canny等算法提取圖像邊緣特征，采用簡單的NMI函數進行相似性度量。現有技術針對圖像相似程度低的問題，普遍思路是通過增強紅外圖像來豐富其細節信息以匹配可見光圖像豐富的紋理。但是，紅外圖像反映的是場景的溫度分布，而可見光圖像所具備的紋理信息在紅外圖像中可能并不存在。圖像增強只能將不清晰的輪廓凸顯出來，但本身就不存在的紋理是無法通過圖像增強方式呈現的。如果一味地追求提取更多的圖像信息，會使提取的信息大量存在于圖像差異性區域，這反而會降低相似性，增大圖像配準難度。另外，現有技術中求解NMI時常采規的粒子群算法和狼群算法等優化算法，但由于紅外與可見光圖像非線性強度差，再加上復雜背景又導致圖像間局部差異加大，這些優化算法收斂性較差，同時由于采用簡單的NMI函數會受到大量局部極值的影響，這些優化算法很難快速、準確地搜索到全局最優解。因此，現有的基于區域的紅外與可見光圖像配準技術在復雜背景下的實用性受到了限制。

發明內容