[發明專利]一種實時紅外雙目圖像拼接方法及系統

在審

• 申請號: 202210892225.7
• 申請日: 2022-07-27
• 公開（公告）號: CN115131213A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 路璐;趙勛;朱裕莎;姜立濤;黃安明;曾衡東
• 申請（專利權）人: 成都市晶林科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 詹權松

本發明公開了一種實時紅外雙目圖像拼接方法及系統，該方法包括如下步驟：步驟A：預拼接；步驟B：計算當前幀拼接信息；步驟C：計算重疊區域內外單應矩陣；步驟D：融合得到拼接結果圖像。本發明是全局單應矩陣與分塊單應矩陣的一種融合，發揮了全局單應矩陣的快速、穩定，同時也發揮分塊單應矩陣保證重疊區內目標對齊，歷史特征點的使用也補足紅外圖像某些場景下特征點不足的缺點；本發明極大程度上提升了時紅外雙目圖像拼接的準確性、實時性及幀間穩定性。

技術領域

本發明涉及紅外圖像處理技術領域，尤其涉及一種實時紅外雙目圖像拼接方法及系統。

背景技術

圖像拼接技術是基于獲取圖像場景的大小和成像器件的分辨率兩者之間的矛盾上產生的。當人們需要獲取最大視野的圖像時，就必須要調節成像器件的鏡頭焦距。由于成像器件的分辨率是一定的，獲得的視野越大分辨率越低，反之，分辨率越高則獲得的視野也越小。在人們既要求高分辨率又要求大視野的場景圖像的需求下，圖像拼接技術產生了。隨著圖像拼接相關理論的不斷完善和計算機應用的不斷發展，圖像拼接技術日益成為圖像處理的熱點之一。

紅外圖像拼接技術就是保證分辨率不變，將兩幅或者多幅小視野的場景圖像拼接成一幅寬視野的無縫目標圖像的過程。拼接的過程不僅減少了圖像間存在的冗余，而且寬視野的場景圖像可以讓觀察者在穩定的圖像分辨率下觀察到更豐富的場景信息。紅外拼接技術可以應用于紅外預警、周視掃描、目標識別和探視中。

現有的紅外雙目拼接技術主要包含以下技術模塊：特征提取、匹配、提純、單應矩陣求取、融合。

針對特征提取、匹配、提純模塊，按特征類型分類，可分為基于點特征、線特征兩類。其中：基于點特征：包含特征點定位、特征表示、特征點對匹配、提純。其中，orb+大小關系特征表示+暴力匹配+ransac/邊佳旺版gms提純是常用的、計算效率高、耗時小的方法；surf點+梯度特征表示+近鄰距離匹配+ransac提純是特征點性能較好、配準效果較穩定、但耗時較多的方法；基于線特征：LCD/LSD直線段檢測、邊緣提取方法(canny等)是線段提取的常用方法。

單應矩陣求取：針對點特征提純后的點對坐標，單應矩陣按數學計算方法分為：最小二乘法、網格鄰域DLT等方法。其中DLT比最小二乘法更抗噪聲影響。單應矩陣按是否全局可劃分為全局單應矩陣、分塊單應矩陣。其中，全局單應矩陣是使用所有的點對求得一個H；分塊單應矩陣求取是在圖像分塊基礎上、計算各塊的H，各塊的H在全圖上漸變；針對線特征提取所得，常使用傅里葉梅林變換匹配：在頻域+對數極數坐標系下獲得兩幅圖像線段之間的變換關系。相比點特征直接求得H各元素，傅里葉梅林變換是獲得旋轉、比例、平移信息，繼而構成H。同時也表明點特征所得H可以包含除旋轉、比例、平移外更多的信息。

融合：按融合方式分為直接融合、漸入漸出融合、分割線融合等，重影抑制能力、耗時依次遞增。

實時紅外雙目拼接技術難點在于拼接準確性、實時性及幀間穩定性的兼顧。點特征提取及匹配算法中，orb速度快，但位于角點、邊緣上的點數少；surf特征點速度慢，但位于角點、邊緣上的點多。另外，在場景目標不豐富的紅外圖像上，特征點數量稀少，容易造成錯誤匹配。線特征提取及匹配算中，LSD區域生長方法耗時，不利于硬件實現；邊緣提取方法容易忽略弱邊緣信息、容易受噪聲干擾；受參與計算邊緣特征影響，傅里葉梅林變換所得結果魯棒性不足、且所得結果是全局單應矩陣不利于圖像各區域對齊。同時，多次傅里葉變換、復數計算對內存開銷較大；全局單應矩陣遵循整體匹配誤差最小，故存在較大的局部匹配誤差；而分塊單應矩陣可適應圖像不同景深處的不同變換關系，容易滿足各處的匹配對齊，但計算耗時。單幀所得配準結果，如何在連續多幀的配準結果呈現視覺穩定是實時拼接處理中的難點。受場景內容變化影響：景深、特征點對位置、單應矩陣都有變化，配準結果在幀間出現抖動。有學者提出先拼接再防抖，或先防抖再拼接、或利用視頻上下文邊拼接邊防抖，無疑都增加了拼接復雜度，降低實時性。

發明內容