[發(fā)明專利]一種基于最佳縫合線更新的實時視頻拼接方法

有效

• 申請?zhí)枺?/td>: 202010317225.5
• 申請日: 2020-04-21
• 公開（公告）號: CN111553841B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 俞菲;李航;劉闖;陳康;黃永明
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/11;G06T7/194;G06T7/33;G06V10/46
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 蔣昱

1.一種基于最佳縫合線更新的實時視頻拼接方法，其特征在于，包含以下步驟：

步驟1：視頻圖像預處理，通過對魚眼鏡頭畸變矯正和配準，并得到矯正投影映射表；

步驟2：對每一幀輸入圖像根據(jù)矯正投影映射表矯正畸變投影到以焦距為半徑的球面上；

步驟3：找出每一對具有重疊區(qū)域的圖像對中重疊的部分(分別為I_l(x,y),I_r(x,y))；

步驟4：對每張重疊區(qū)域圖像進行高斯模糊和降采樣得到(I_l′(x,y),I_r′(x,y))；

步驟5：將降采樣后重疊區(qū)域圖像進行KNN背景消除得到前后景分割后的圖像；

步驟6：判斷前一幀縫合線上的點是否有超過τ個落入前景，若有則進行縫合線更新，若沒有則保持縫合線不變；

步驟7：若需要進行縫合線更新，計算降采樣后重疊區(qū)域圖像的Lplacian算子得到L_l(x,y)和L_r(x,y)；

步驟8：根據(jù)L_l(x,y)和L_r(x,y)，使用動態(tài)規(guī)劃算法在重疊區(qū)域內進行縫合線更新；

動態(tài)規(guī)劃算法中，需要一個損失函數(shù)設為E(x,y),用于衡量在此處進行縫合的累積代價，設L_l(x,y)和L_r(x,y)分別表示左側圖像的重疊區(qū)域部分和右側圖像的重疊區(qū)域部分經(jīng)過laplacian算子卷積后的結果圖像，則可以定義空間相干性函數(shù)：

記點(x₁,y)和(x₂,y-1)的空間相干性：

同時，縫合點不應該通過任何一個圖像的邊界點，而應該位于梯度平緩的位置，因此在損失函數(shù)中還需要引入顯著性項：

g(x,y)＝max(|L_l(x,y)|,|L_r(x,y)|)

最佳縫合線本質上是一個最優(yōu)化問題，損失函數(shù)E(x,y)表示縫合線上到點(x,y)的累積代價，通過限制縫合線上每一行上僅取1個像素，則該最優(yōu)化問題將具有最優(yōu)子結構，可以使用動態(tài)規(guī)劃的方法找到圖像的最佳縫合線，迭代方程為：

其中w₁和w₂為空間相干性和顯著性項的權重，且w₁+w₂＝1，L為探查范圍，對于初始行(當x＝0時)，可以根據(jù)Laplacian算子的邊界處理方式初始化；

步驟9：由步驟8更新的縫合線通過線性插值得到原尺度下的縫合線；

步驟10：根據(jù)步驟9得到的縫合線生成新的偏移量插值薄膜M(x,y)，該薄膜在縫合線上取值為I_r(x,y)-I_l(x,y)，其他位置取值為0；

步驟11：使用卷積金字塔近似計算偏移量MVC薄膜；

其中對每一幀圖像經(jīng)過高斯降采樣后進行縫合線更新的方法為：

(1)擴展；

從第一行開始，逐行擴展到最后一行，根據(jù)重疊區(qū)域縫合線所有像素累積誤差的E(x,y)，記錄每個像素的傳播方向，同時注意縫合線上的每一個元素不能超過圖像的重疊區(qū)域；

(2)找到最佳縫合線；

擴展完成之后，遍歷最后一行的所有累積誤差，找到其中的最小值，對應的像素點即為最佳縫合線的終點，再根據(jù)記錄的傳播方向，回溯到起始點，即可找到最佳縫合線；

在步驟11中使用卷積金字塔用小模板運算和降采樣近似大模板運算的方法為：確定核{h₁,h₂,g}分別為5×5,5×5,3×3,的核，設輸入薄膜為a，其中*表示圖像模板運算，↑為升采樣，↓為降采樣；

1.確定需要卷積的層數(shù)L＝log₂(min(W,H))，其中W,H分別為輸入薄膜的寬度和高度；

2.a⁰＝a；

3.對層級l＝0…L-1，做卷積和下采樣操作a^l+1＝↓(h₁*a^l)；

4.將最高層a^L,和3×3核g進行卷積

5.對每一個層級l＝L-1…0，做卷積和上采樣：

6.取為最終的結果；

步驟12：偏移量MVC薄膜疊加到原圖像上完成MVC融合。