[發明專利]一種雙光圖像匹配融合方法及系統

在審

• 申請號: 202211459772.2
• 申請日: 2022-11-16
• 公開（公告）號: CN115690551A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 鄧燕;邵光亭;李健;張傳友;王亞菲;裴淼;蔣克強;李天玉;薛保平;胡清波
• 申請（專利權）人: 國網智能科技股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06V10/44
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本發明提供了一種雙光圖像匹配融合方法及系統，通過仿射矩陣先驗信息、聚類分類、距離、角度、內接圓面積等多維信息的有機融合可以有效剔除錯誤匹配點對，快速高效的篩選出最佳匹配點對，同時提高圖像匹配融合效果，通過對可見光圖像進行基于拉普拉斯金字塔的多尺度圖像處理、紅外圖像二值化、腐蝕、銳化等處理提取非設備區域特征后進行融合，可以突顯紅外圖像中的熱輻射信息和可見光中的外觀信息。本發明可以實現在同一路視頻中同時突顯紅外圖像中熱輻射信息和可見光圖像中的設備外觀信息，達到雙光相機在執行巡檢任務時可展示融合后的視頻，滿足現場不同場景的應用需求。

技術領域

本發明屬于圖像處理、人工智能技術領域，涉及一種雙光圖像匹配融合方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

目前變電站多采用巡檢機器人或固定點攝像機來代替人工對變電站進行安全巡檢和監控，克服人工巡檢面臨的工作量大、危險系數高、效率低和可靠性差等問題，以保障變電站安全運行。

當前變電站現場常依靠采集的紅外圖像或可見光圖像對變電站設備進行檢測診斷，紅外圖像中攜帶電力設備的熱輻射信息，可見光圖像中攜帶電力設備的外觀信息，通過將二者進行配準、融合處理，實現在一幅圖像上顯示多源信息。融合后的圖像相對于原始圖像而言將具有較高的空間分辨率和光譜分辨率，同時能突顯多源信息特征和較低的噪聲，能便于人眼和機器對設備狀態的識別和自動探測分析；另外通過將雙光圖像進行融合處理，有助于在變電站現場硬件有限的條件下，實現更多路視頻的展示和監控。

因此，有部分研究學者提出了將雙光圖像進行融合的技術方案，但均存在一定的問題。例如，中國發明專利CN202111074441.2一種基于多特征相似度融合的紅外和可見光圖像匹配方法，中國發明專利CN202010848163.0一種基于連線特征一致性的特征匹配方法，中國發明專利CN202111074441.2一種基于多特征相似度融合的紅外和可見光圖像匹配方法，都在一定程度上提升了匹配的精度。但是也存在算法耗時，不滿足實時性的應用要求；不適合變電站所有場景，變電站現場的機器人和固定點攝像機需要定期執行巡檢任務，繼而導致每次的紅外和可見光場景不是固定不變的；需要成像距離等已知信息，不便于現場實施應用，適用性差；目前多數融合算法常依賴手動配準信息，非自動配準，需要人為干預或人為矯正；算法具有隨機性，即同一組對的異源圖像連續兩次的配準結果可能不同等問題。

發明內容

本發明為了解決上述問題，提出了一種雙光圖像匹配融合方法及系統，本發明可以實現在同一路視頻中同時突顯紅外圖像中熱輻射信息和可見光圖像中的設備外觀信息，達到雙光相機在執行巡檢任務時可展示融合后的視頻，滿足現場不同場景的應用需求。

根據一些實施例，本發明采用如下技術方案：

一種雙光圖像匹配融合方法，包括以下步驟：

對獲取的可見光圖像和紅外圖像進行預處理；

提取各預處理后圖像的輪廓信息；

提取特征點，獲取每個特征點的描述子；

基于所述描述子信息，對特征點進行初步匹配；

對初步匹配結果進行分類，分別從每一類中選取一組匹配點對計算仿射矩陣，將一圖像中的若干點通過仿射變換到另一圖像中，計算仿射點與原點之間的距離，選取距離低于閾值的匹配點對，直至遍歷所有的組對；

將紅外圖像和可見光圖像拼接到同一幅圖像中，并映射各匹配點，基于匹配點對的坐標、距離和角度信息進行融合比對處理，剔除匹配點對中誤匹配的點對；

在剩余的匹配點對中選擇最佳匹配點對；

基于最佳匹配點對，對雙光圖像進行仿射變換、配準處理；