[發明專利]基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法及系統

有效

• 申請號: 202011154641.4
• 申請日: 2020-10-26
• 公開（公告）號: CN112288628B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 陳曦;劉開元;瞿濤;汪鼎文;孫世磊
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/269;G06T7/33;G06T5/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

1.一種基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，其特征在于：包括以下步驟，

步驟1，讀取輸入的一組航拍所得連續圖像，進行預處理，包括對原始圖像進行直方圖均衡化；

步驟2，運用光流跟蹤方法結合均勻采點獲取相鄰圖像之間的匹配點集；

步驟3，根據匹配點集進行相鄰圖像的配準，求出對應的投影變換矩陣；

步驟4，每隔若干幀計算一次當前圖像相對初始幀的變換矩陣，映射到拼接畫布上進行合成處理，得到航拍圖像快速拼接結果，實現方式如下，

抽幀拼接是指每隔若干幀求一次當前圖像到第一幀的變換矩陣，對其進行透視投影變換映射到第一幀的畫布上，相隔的幀數由連續圖像畫面運動的劇烈程度進行選擇；

在準全部完成后，除第一幀圖像外，后續的所有圖像都應得到一個其向前一幀相鄰圖像的變換矩陣，根據變換的連續性，通過矩陣連乘計算出當前圖像到第一幀的變換矩陣，則當前圖像相對第一幀的變換矩陣是由相鄰圖像之間變換矩陣連續相乘得到的；

當采用每隔5幀進行一次映射的拼接策略時，第n幀圖像到初始幀的變換矩陣計算公式如下，

H_{n幀→初始幀}＝H_{n幀→(n-5)幀}·H_{(n-5)幀→初始幀}

其中，H_{n幀→初始幀}為第n幀圖像img_n到初始幀img₀的變換矩陣，H_{n幀→(n-5)幀}為第n幀圖像img_n到第(n-5)幀img_n-5的變換矩陣，H_{(n-5)幀→初始幀}為第(n-5)幀圖像img_n-5到初始幀img₀的變換矩陣；

在圖像經透視投影變換到第一幀時，進行畫布大小的調整，通過拼接后的邊界坐標信息得到拼接大圖的最小外接矩形，通過這一矩形調整畫布的大小；最后，對于重疊區域存在的拼接縫和亮度差異，采用像素加權平滑方法處理，包括取重合點處兩張圖像各自像素值的平均值作為該點的像素值，得到融合效果。

2.根據權利要求1所述基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，其特征在于：步驟2中，匹配點的選取實現方式為，在基準圖像中按預設的密度均勻采點得到，根據圖像間的運動矢量匹配得到采點結果在后續圖像中的位置。

3.根據權利要求1所述基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，其特征在于：步驟2中，通過光流跟蹤方法獲取匹配點集的實現方式為，利用LK光流法跟蹤得到基準圖像中點在后續圖像中的坐標，包括假設前一幀時間為t，后一幀時間為t+δt，則前一幀I的坐標為(x,y)的點在t時刻的像素值I(x,y,t)在后一幀中的位置為I(x+δx,y+δy,t+δt)，根據光流的亮度恒定假設有I(x,y,t)＝I(x+δx,y+δy,t+δt)，通過展開求解得到一個坐標的光流矢量。

4.根據權利要求1所述基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，其特征在于：步驟3中，圖像基于基準圖像的運動估計采用透視投影矩陣進行坐標變換，透視變換公式為，

其中，采用齊次坐標(u,v,w)表示點，w和w’是齊次坐標的第三維，在二維變換的情況下，公式中w和w’為1，通過透視投影變換，將圖像坐標(u,v)變換為(x’,y’)。

5.根據權利要求1所述基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法，其特征在于：當前圖像相對第一幀的變換矩陣是由相鄰圖像之間變換矩陣連續相乘得到的。

6.一種基于光流跟蹤和抽幀映射的航拍圖像拼接加速系統，其特征在于：用于實現如權利要求1-5任一項所述的一種基于光流跟蹤和抽幀映射的航拍圖像拼接加速方法。