[發明專利]基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法及系統

有效

• 申請號: 202011154641.4
• 申請日: 2020-10-26
• 公開（公告）號: CN112288628B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 陳曦;劉開元;瞿濤;汪鼎文;孫世磊
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/269;G06T7/33;G06T5/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法及系統，包括讀取輸入的一組航拍所得連續圖像，進行預處理，包括對原始圖像進行直方圖均衡化；運用光流跟蹤方法結合均勻采點獲取相鄰圖像之間的匹配點集；根據匹配點集進行相鄰圖像的配準，求出對應的投影變換矩陣；每隔若干幀計算一次當前圖像相對初始幀的變換矩陣，映射到拼接畫布上進行合成處理，得到航拍圖像快速拼接結果。本發明針對航拍圖像特征點提取與匹配較為復雜的技術問題，在拼接過程中直接在基準圖像上均勻采點，通過光流跟蹤方法得到匹配點集，在圖像變換映射時每隔若干幀進行一次拼接，避免了圖像數量較多時逐幀拼接速度低的問題，同時也保證了拼接結果的細節穩定性。

技術領域

本發明涉及航拍圖像處理應用中的圖像拼接領域，尤其涉及一種基于光流跟蹤和抽幀映射的航拍圖像多圖拼接加速方案。

背景技術

圖像拼接是圖像處理中一個重要研究方向，尤其是視頻中提取出的多幀連續圖像拼接對進一步做圖像理解有著重要的意義，多圖拼接的應用場景很廣泛，如無人機航拍、遙感圖像、視覺SLAM等領域都需要快速且精確的圖像拼接效果。在無人機航拍中經常會得到對地面某一區域的連續拍攝畫面，圖像拼接的目的就是把這些圖像通過變換投影到一個畫布上，并把不同圖像重合的部分進行融合，消除邊界，最終得到一塊區域的整體大圖。但是，航拍圖像包含信息量大，但清晰度較差，在進行特征點匹配時很容易產生大量的誤匹配點，對變換矩陣的求解結果造成影響，需要耗費大量的時間進行誤匹配點的篩選，目前技術難以達到實時性要求。

目前圖像拼接技術的流程包括三個步驟：特征點提取與匹配、圖像配準和圖像融合。特征點提取與匹配的目的是建立不同圖像之間特征點的聯系，為圖像配準打下基礎，一般采用SIFT、SURF等方法進行圖像序列特征點的提取并根據特征點描述子的距離進行特征點匹配，得到不同圖像之間的匹配點集。圖像配準是圖像拼接的核心技術，通過第一步得到的匹配點集來構建圖像序列之間的變換矩陣，并迭代優化該矩陣以精確描述圖像之間的空間變換。根據圖像間的變換矩陣就可以將圖像以第一幀為基準變換到同一畫布中，最后一步圖像融合的目的就是解決拼接結果中不同圖像重疊區域存在的拼接縫和亮度差異問題，一般采用簡單快速的像素加權平滑方法處理拼接縫就可以得到較完整的拼接合成圖像。

上述圖像拼接方法具有良好的精度和魯棒性，但是拼接效率較低，無法滿足某些應用中對實時性的要求，尤其是航拍圖像拼接方面，因為數據量和清晰度等因素難以達到實時性要求。首先傳統的特征點提取和匹配方法復雜度較高，匹配過程特征點描述子距離的計算量很大，其次將所有后續圖像都通過變換矩陣映射到第一幀也相當耗時，每次映射都要對圖像進行投影變換并對拼接縫合線進行光滑處理并調整畫布的大小，不同圖像在拼接結果中的重疊區域多次疊加，也會影響拼接圖像的細節。

發明內容

鑒于上述存在問題，本發明提供了一種基于光流跟蹤和抽幀映射的航拍圖像多圖拼接加速方案，對點的提取匹配和圖像變換后的映射過程進行優化，減少了拼接合成時圖像映射的次數，旨在提高較多連續圖像拼接的速度。

本發明的技術方案為一種基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，包括以下步驟，

步驟1，讀取輸入的一組航拍所得連續圖像，進行預處理，包括對原始圖像進行直方圖均衡化；

步驟2，運用光流跟蹤方法結合均勻采點獲取相鄰圖像之間的匹配點集；

步驟3，根據匹配點集進行相鄰圖像的配準，求出對應的投影變換矩陣；

步驟4，每隔若干幀計算一次當前圖像相對初始幀的變換矩陣，映射到拼接畫布上進行合成處理，得到航拍圖像快速拼接結果。

而且，步驟2中，匹配點的選取實現方式為，在基準圖像中按預設的密度均勻采點得到，根據圖像間的運動矢量匹配得到采點結果在后續圖像中的位置。