[發明專利]基于圍繞漸變拼縫區域平面掃描的視頻拼接方法

有效

• 申請號: 201510224858.0
• 申請日: 2015-05-05
• 公開（公告）號: CN104794683A
• 公開（公告）日: 2015-07-22
• 發明（設計）人: 劉煜;李靖;張政;張茂軍;賴世銘
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 胡偉華

技術領域：

本發明屬于圖像信息處理領域，涉及視頻拼接方法，尤其涉及基于圍繞漸變拼縫區域平面掃描的視頻拼接方法。

背景技術

圖像視頻拼接是計算機視覺學科的一個重要研究方向，受到了廣泛的關注和深入的研究。其中，圖像拼接已經是一個較成熟的研究領域，目前已有一系列針對不同應用需求的理論和方法被各國學者提出，并取得了良好的實驗效果。而視頻拼接的問題規模和復雜度都遠高于圖像拼接，限于相關理論基礎和硬件設備的處理能力，相關研究還處在起步階段。

對于一組已完成配準的圖像，傳統的圖像拼接方法首先在重疊區域選擇一條最優拼縫，然后沿拼縫對圖像進行融合完成不同圖像之間的平滑過渡。但當源圖像之間存在視差時，即由于各臺相機的光心不完全重合造成的同一場景在不同攝像機拍攝中的成像差異，通過投影變換映射到同一觀察平面的各路圖像并不能完全重合，即存在結構偏差。為消除結構偏差，研究者們提出了包括平面掃描在內的一系列方法。平面掃面方法在尋找最優拼縫之前先通過多次假設被拍攝場景的深度并比較不同深度下圖像的匹配程度，得到重疊區域局部的深度信息，再根據深度信息投影圖像到觀察平面，配合后續的拼縫選擇和圖像融合，完成帶有視差情況下的圖像拼接。

與圖像拼接相比，視頻拼接對算法運行速度的要求較高，且需要相保證相鄰幀之間一致性。圖像拼接中的平面掃描方法并不滿足上述要求，因此不能直接應用于視頻拼接。而且考慮到圖像或視頻幀融合時拼縫兩側的圖像主要取自不同的源圖像，只有靠近拼縫的區域才會同時用到兩幅源圖像的信息，因此求解整個重疊區域的深度信息是不必要的。在視頻拼接中有效利用這一點，能夠顯著加快拼接速度。

發明內容

本發明針對視頻拼接中多攝像機光心不重合造成的視差問題，提出了一種基于圍繞漸變拼縫區域平面掃描的視頻拼接方法，其能夠在保持視頻幀間一致性的前提下消除視差的影響，完成快速高質量的視頻拼接。本發明所采用的策略是結合視頻拼接中的漸變拼縫和平面掃描，將平面掃描的范圍縮減到拼縫附近的窄帶狀區域，再將所得拼縫位置的偏移信息線性擴散到重疊區域的其它部分，據此對視頻幀作變形并融合以完成當前幀的拼接。

本發明首先利用已有的攝像機標定信息矯正相鄰的兩幅視頻幀，然后基于重疊區域的圖像信息與前一幀的拼縫，得到當前幀的拼縫位置，再在圍繞拼縫的窄帶狀區域運行平面掃描，最后根據平面掃描所得結果對圖像進行形變并融合。

具體地，本發明采用的技術方案是：

一種基于圍繞漸變拼縫區域平面掃描的視頻拼接方法，包括以下步驟：

S1.沿基線方向矯正相鄰的兩幅視頻幀，將兩幅圖像之間的二維偏移關系簡化到水平方向；

S2.在S1中得到的矯正后圖像的重疊區域運行基于圖像差異和潛在匹配不確定性的漸變拼縫選擇算法；

S3.以在S2中得到的漸變拼縫為中心取一定寬度的窄帶狀區域，在該區域運行平面掃描算法，得到拼縫位置的像素偏移；

S4.將S3中得到的拼縫位置的像素偏移線性擴散到重疊區域的其他部分，并根據整個重疊區域的偏移對圖像進行形變。

S5.融合重疊區域的圖像，并與非重疊區域的圖像組合得到當前一組視頻幀的拼接圖像。

進一步地，所述步驟S1的具體方法包括：

對于兩臺已完成標定的攝像機，其內參數矩陣K₁，K₂，以及兩攝像機之間的旋轉矩陣R＝[r₁,r₂,r₃]和平移向量T已知，則被拍攝場景中的一點P在兩相機坐標系中坐標X_C1與X_C2的關系為

X_C1＝RX_C2+T

圖像矯正需要將兩相機坐標系變換為新的具有平行光軸的兩個虛擬相機坐標系下，兩虛擬相機坐標系的基向量在第一臺攝像機坐標系下的表述均為：