[發(fā)明專利]一種基于圖割的視頻拼接方法

有效

• 申請?zhí)枺?/td>: 201711191572.2
• 申請日: 2017-11-24
• 公開（公告）號: CN108009985B
• 公開（公告）日: 2020-04-24
• 發(fā)明（設計）人: 姚劍;廖巖巖;謝仁平;涂靜敏;李禮
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/162
• 代理公司: 武漢科皓知識產(chǎn)權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發(fā)明提出一種基于圖割的視頻拼接方法，首先通過把圖像投影到球面上，把圖像對齊問題轉化成球面上的像素點旋轉問題，把圖像在球面上的投影影像劃分成若干個格網(wǎng)，每個格網(wǎng)計算一個旋轉矩陣實現(xiàn)圖像的對齊。然后構造3D圖割計算拼接面，為了降低計算量和內存需求，采用局部拼接面更新代替全局的拼接面，利用視頻的前n幀計算一個局部拼接面，記錄拼接面的最后一條拼接線，把拼接線投影到下一張經(jīng)過多旋轉矩陣對齊的結果圖像上，判斷當前結果圖像和前一張結果圖像的梯度差，統(tǒng)計差值大于一定閾值的像素所占比例，比例大于一定閾值則表示拼接線處出現(xiàn)動態(tài)目標，需要更新局部拼接面；否則，使用記錄的拼接線作為當前幀的拼接線。

技術領域

本發(fā)明屬于圖像處理技術領域，特別是涉及一種基于圖割的靜止視頻拼接技術方案。

背景技術

視頻拼接是指將多個具有一定重疊信息的視頻序列通過相關的算法拼接起來，來得到具有更大視場視頻的技術。視頻拼接由于其可以記錄豐富的信息和良好的交互性，在視頻安防、生物醫(yī)學、視頻會議尤其是VR、AR等領域發(fā)揮重要的作用。

視頻拼接與圖像拼接不完全相同但又衍生自圖像拼接，因而圖像拼接中的經(jīng)典問題如視差存在情況下的圖像拼接也是視頻拼接需要解決的難題。視頻拼接主要面臨兩個技術難點：視差存在條件下的圖像拼接以及視頻拼接的時空穩(wěn)定性。視差存在條件下的圖像拼接方法主要是基于稀疏格網(wǎng)，通過劃分成千上萬個格網(wǎng)，為每個格網(wǎng)計算一個單應矩陣，完成圖像幾何上的精細對齊，其中以APAP方法為代表[1]。保證視頻時空穩(wěn)定性的方法主要有兩種，一類是在圖像對齊階段把整個視頻序列統(tǒng)一起來對齊；另一類是采用背景拼接，再對前景進行處理。

[1]ZARAGOZA J.,CHIN T.-J.,BROWN M.S.,SUTER D.Asprojective-as-possibleimage stitching with moving dlt[C].IEEE Conference on Computer Vision andPattern Recognition(CVPR),2013,pp.2339–2346.1,2,7,8.

APAP類圖像對齊技術：既然單個單應矩陣不能處理視差存在條件下的圖像對齊，APAP把待拼接圖像劃分成若干個格網(wǎng)，每個格網(wǎng)計算一個單應矩陣，以此來實現(xiàn)圖像幾何上的精細對齊。APAP算法雖然可以實現(xiàn)幾何上的精細對齊，但是由于采用的變換單元是單應矩陣，因而在某些條件下的拼接結果伴隨有嚴重的透視變形問題。

視頻時空穩(wěn)定性技術：在圖像對齊階段把整個視頻序列統(tǒng)一起來對齊的方法復雜度太高，對內存和計算有很高的要求，很難用于實際應用。基于背景拼接的方法中，目前已經(jīng)存在的方案是選擇性拼接線更新策略，這種方法可以降低計算量并且不需要一次性考慮整個視頻，對內存要求降低。但是，這種方法只是孤立地用獨立的一幀來計算拼接線，得到的拼接線質量難以得到保證。針對這些問題，本發(fā)明提出了有效的解決方法。

發(fā)明內容

為了解決以上方法中存在的問題，本發(fā)明提供了一種基于圖割的視頻拼接技術。

本發(fā)明技術方案提供一種基于圖割的視頻拼接方法，包括以下步驟：

步驟1，基于球面投影的多旋轉矩陣對齊，包括以下子步驟：

步驟1.1，將待拼接視頻中的每一幀圖像投影到單位球面上；

步驟1.2，對待拼接視頻中相應的待拼接圖像劃分格網(wǎng)，求解每個格網(wǎng)的旋轉矩陣，格網(wǎng)內每個點都使用相同的旋轉矩陣，得到球面上對齊的拼接圖像，

步驟2，基于3D圖割構造局部拼接面，并且自適應更新拼接面，優(yōu)化步驟1.2獲得的拼接圖像的對齊效果，包括以下子步驟：

步驟2.1，利用拼接圖像中對應的k幀連續(xù)圖像構成3D圖割，并求解k幀連續(xù)圖像的局部拼接面，實現(xiàn)方式如下，

定義如下3D圖割能量方程，求解使得能量方程最小，