[發明專利]一種基于縫合線時空優化的雙攝像機全景視頻拼接方法

在審

• 申請號: 201710636048.5
• 申請日: 2017-07-31
• 公開（公告）號: CN107580186A
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 張磊;蘇向陽;黃華
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N5/262;H04N5/232;H04N5/247;H04N5/14;H04N5/21
• 代理公司: 北京理工正陽知識產權代理事務所(普通合伙)11639
• 代理人: 唐華

本發明涉及一種基于縫合線時空優化的視頻拼接方法，屬于視頻處理領域。包括以下步驟：通過SIFT算法檢測特征點并對齊特征點，使用RANSAC優選特征點，計算特征點對在垂直方向上的平局距離，預對齊視頻幀；基于圖割算法，加上前景、邊緣、視差等約束，計算最優的縫合線；使用前景檢測和高斯濾波器平滑縫合線序列；對縫合線序列作質量評估；利用縫合線的質量，對縫合線兩側圖像線性融合得到全景視頻。與已有的方法相比，該方法減少全景視頻的鬼影，保持了視頻的幀間連續性，提高了視頻的視覺質量。

技術領域

本發明涉及一種視頻拼接方法，特別涉及一種基于縫合線時空優化的雙攝像機全景視頻拼接方法，屬于視頻處理領域。

背景技術

由于攝像機視角的限制，傳統的視頻都是在一定視角范圍內拍攝。觀影者無法看到視角外的場景。不同于傳統的視頻，全景視頻可以打破視角的限制，為觀影者提供全方位的視覺體驗。使用多臺攝像機組成的全景相機拍攝實景，然后將多個視頻拼接融合為一個全景視頻。用戶可以佩戴頭盔顯示器觀看全景視頻，通過頭部、身體、手勢等運動估計，與全景視頻交互，觀看不同視角的視頻；也可以通過智能手機、平板電腦等智能終端產品觀看全景視頻。相比傳統視頻，全景視頻會給用戶帶來更真實、更自由、全方位的觀影體驗。

對于圖像/視頻拼接這一具有較高應用價值問題，國內外的學者已經做了大量的基礎研究。目前圖像/視頻拼接方法主要分為三種:變形的方法、縫合線的方法以及聯合變形和縫合線的方法。基于變形的方法以基于APAP圖像拼接(Zaragoza J,Chin T J,Brown MS,et al.As-projective-as-possible image stitching with moving DLT[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2013:2339-2346.)為代表，通過將圖像網格化,對每個網格作單應變換,實現圖像的拼接。但是該方法無法拼接較大視差下的場景，對于較大視差的圖像拼接存在鬼影的現象。基于縫合線的方法已縫合線驅動(Gao J,Li Y,Chin T J,et al.Seam-DrivenImage Stitching[C]//Eurographics(Short Papers).2013:45-48.)為代表，使用圖割算法，通過梯度和平滑的約束,實現更好效果的拼接.然而計算得到的縫合線會穿過物體,對于視差較大的圖像,縫合線兩側物體形狀有差異,拼接后圖像的縫合線兩側會存在物體斷裂的問題。聯合變形和縫合線的方法以視差容忍的圖像拼接(Zhang F,Liu F.Parallax-tolerant image stitching[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2014:3262-3269.)為代表，通過將圖像網格化,對每個小網格單獨變形,再使用縫合線拼接圖像可以實現較好的拼接效果。但是對于視頻的拼接,每幀的變換矩陣不同,變形后圖像的形狀差異較大,破壞視頻幀間的連續性。并且由于缺少對邊緣和前景的約束,這種算法計算的縫合線會穿過物體和前景,破壞圖像的結構。

發明內容

本發明的目的是打破攝像機視角的限制，提出一種基于縫合線時空優化的雙攝像機全景視頻拼接方法，使用戶獲得全視角的觀看感受。

本發明技術方案的思想是基于圖割(Kwatra V, A,Essa I,etal.Graphcut textures:image and video synthesis using Graph Cuts[J]//ACMTransactions on Graphics 2003,22(3):277-286)算法，增加邊緣、邊緣視差約束，聯合時空優化，計算最優的縫合線；為了保持全景視頻的時空連續性，使用前景檢測算法和高斯濾波器平滑縫合線序列，再對計算的縫合線序列作質量評估，依據縫合線的質量對待拼接圖像線性融合，獲得鬼影更少，視覺質量更高的全景視頻。

本發明的具體實現步驟如下：