[發明專利]一種基于最佳縫合線更新的實時視頻拼接方法

有效

• 申請號: 202010317225.5
• 申請日: 2020-04-21
• 公開（公告）號: CN111553841B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 俞菲;李航;劉闖;陳康;黃永明
• 申請（專利權）人: 東南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/11;G06T7/194;G06T7/33;G06V10/46
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 蔣昱

本發明公開了一種基于最佳縫合線更新的實時視頻拼接方法，屬于數字圖像處理技術領域。本發明提供的實時視頻拼接方法使用了基于特征點的圖像配準技術，通過不同視角圖像的匹配特征點估計出每一目攝像機的內外參數。在進行不同視角間圖像融合時，采用了基于最佳縫合線的圖像融合算法，針對運動物體可能產生的重影和不連續的問題，使用基于KNN的背景消除算法和基于動態規劃的縫合線更新算法以避免運動物體穿過縫合線而產生的不連續和重影。最后，使用基于卷積金字塔的圖像融合算法，消除拼接縫。采用我們設計的視頻拼接方法可以在保證拼接實時性的情況下提供良好的大視場圖像。

技術領域

本發明屬于數字圖像處理技術領域，特別是涉及一種基于最佳縫合線更新的實時視頻拼接方法。

背景技術

視覺信息作為人類信息資源中重要的一員在信息社會中扮演著不可缺少的重要角色。當今社會，數碼攝像機，攝影等技術已經走進人們的生活成為每個家庭的必須品。視頻和圖像等多媒體信息也在科技、軍事、醫療等諸多領域扮演著重要的角色。視頻的采集大多是采用單個設備進行，所能夠捕獲的視場相對較小，遠不及人眼視場，已經很難滿足大視場、高分辨率視頻應用場景的需求。因此，圖像拼接技術應運而生。

視頻拼接技術，即對有重疊區域的多路視頻進行配準并融合，形成大視場視頻的技術。視頻拼接提供了高分辨率的大視場全景視頻，并被廣泛應用于多個不同的領域，但多數視頻拼接方法難以滿足日益增長的實時性和視覺質量要求。

視頻拼接的基礎是圖像拼接，目前，國內外已提出不同的圖像拼接方法，這些方法主要針對不同領域的應用，但是沒有一種通用的圖像拼接技術可以滿足不同場景的應用。國外在該領域的研究較早，并且較為領先。Riehadr?Szeliski于1996年提出一種經典的基于運動全景圖像拼接模型，該方法對發生旋轉、平移及仿射變化的圖像具有良好的配準效果。在Richard?Szeliski研究的基礎上，研究者對圖像拼接技術的研究日益深入。M?Brown于2003年提出一種基于尺度不變特征轉換(SIFT)特征檢測的圖像配準方法。為了改善SIFT方法特征提取和描述效率低下的缺陷，Bay等人于2006年提出SURF特征提取方法。2011年的計算機視覺學術研討會(IEEE?international?conference?on?computer?vision)上，Roblee提出ORB圖像配準方法，該算法的思想是在圖像金字塔上先利用改進FAST算法進行角點特征檢測，然后再使用改進的BRIEF方法進行特征描述，從而提高了圖像拼接的速度。目前，ORB算法是國際上拼接速度較快的算法，但是由于ORB算法不具有尺度不變性，所以其應用范圍相比SURF和SIFT算法受限更多。

視頻拼接分為三個步驟:配準、圖像投影和圖像融合。在現有的多攝像頭系統中，攝像頭的位置保持穩定和固定。因此，不同相機的圖像只需在一開始進行配準和參數估計，然后在接下來的幀中保持不變。一旦配準了所有的輸入圖像，我們需要確定如何產生最后的拼接圖像，這包括選擇最終的合成面(平面、圓柱、球面等)，還涉及選擇哪些像素用于最終的合成，以及如何優化融合這些像素，以減少可見的接縫，模糊和重影。

由于圖像的拼接質量對運動物體比對靜態物體更敏感，而視頻的最大特征就是存在運動物體，但運動物體通過圖像的重疊區域時，將會產生接縫和重影，影響最終拼接圖像的質量。在圖像拼接中使用最優縫合線搜索算法能夠很好的解決重影問題，但是當運動物體通過最優縫合線時，將產生明顯的接縫。因此，需要根據視頻內容的變化，對最佳縫合線進行實時更新。現有的大多視頻拼接算法難以在保證實時性的前提下，提供良好的全景圖像輸出。

發明內容