[發明專利]一種基于多分辨率的多視點視頻拼接融合算法

在審

• 申請號: 201610015917.8
• 申請日: 2016-01-11
• 公開（公告）號: CN105657268A
• 公開（公告）日: 2016-06-08
• 發明（設計）人: 趙輝;牛文淵
• 申請（專利權）人: 塔里木大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/262
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 解明鎧

技術領域

本發明涉及多視點視頻拼接和融合領域，具體涉及一種基于多分辨率 的多視點視頻拼接融合算法。

背景技術

基于多視點視頻圖像繪制的虛擬現實技術是目前虛擬現實研究中非 ?；钴S的研究課題，而多視點視頻全景圖的生成則是其中重要的應用領域 之一。

多視點視頻全景圖是通過將多幅不同視點的視頻場景圖像進行拼接 和融合來實現的。目前常見的拼接和融合算法有：相位相關度算法、特征 無關的方法和基于特征的方法，但是各算法都存在一定的局限性，且對拼 接和融合用的圖像質量一般要求比較高，而對于用普通數碼相機在不受限 制的條件下拍攝到的圖像的拼接和融合效果則不盡理想。

相位相關度算法對于理想的兩幅相鄰圖像，即對于不存在明顯曝光差 異和邊緣扭曲的圖像的處理效果很好，但是對于存在上述質量問題的圖像 卻很難達到預期的效果。

特征無關的方法首先在相鄰幀間進行紋理特征跟蹤，進而求攝像機焦 距和幀間偏移距離。該算法雖能取得較好的精度，但是紋理特征的檢測和 跟蹤卻帶來了巨大的計算量。

基于特征的方法采用有8個未知參數的矩陣來描述兩幅圖像之間的顏 色變換關系，并用最小化算法來估計該矩陣。該算法由于采用了迭代的方 式解非線性方程組，所以對迭代初始值特別敏感，而且能否得到解還要完 全依賴于迭代初始值。另外，如果兩幅圖像的曝光條件差得比較遠，那么 該算法的拼接和融合效果就不甚理想。對于存在上下位移的兩幅圖像，則 可能得不到預期的拼接和融合效果。

發明內容

本發明提供了一種基于多分辨率的多視點視頻拼接融合算法，通過降 低分辨率來加速拼接和融合過程，并綜合考慮顏色和梯度信息，實現多視 點視頻的快速高質量拼接融合。

一種基于多分辨率的多視點視頻拼接融合算法，包括：

步驟1，每個視點的視頻包括多個時刻的視頻圖像，將同一時刻不同 視點的多幀視頻圖像映射到同一基準柱面上；

步驟2，對映射后得到的同一時刻相鄰的兩幅視頻圖像進行拼接；

步驟3，對同一時刻相鄰兩幅視頻圖像拼接后的重疊部分進行亮度均 衡，完成多視點視頻的融合。

多視點視頻是從多個角度拍攝同一場景或物體，進行多視點視頻拼接 時，首先將同一時刻的視頻圖像進行拼接和融合，然后將不同時刻的融合 結果連續起來，即得到全景視頻。

本發明中，通過步驟1將同一時刻不同視點的多幀視頻圖像投影到同 一個基準柱面上，然后對同一基準柱面上的視頻圖像進行拼接和融合。

拼接和融合針對的都是相鄰視頻圖像，拼接將兩相鄰視頻圖像進行平 移，使相同部分重疊，融合對重疊部分進行亮度調整，消除拼接的痕跡。

為了加快算法的速度，優選地，步驟2中，依次在低分辨率和原始分 辨率下，對同一時刻相鄰的兩幅視頻圖像進行拼接。

本發明中首先采用低分辨率算法對同一時刻相鄰的視頻圖像進行粗 匹配，大大降低算法的復雜度，然后在粗匹配完成后，進一步進行精確匹 配，保證拼接的效果。

本發明中由于首先使用低分辨率圖像進行拼接，因此，降低了對多視 點視頻圖像的質量要求，降低了對多視點拍攝時的相機的性能要求，節省 了花費在視頻采集設備的成本。

作為優選，步驟2中，采用Canny算子計算原始圖像的邊緣圖像，并利 用小波變換得到低分辨率圖像，對低分辨率圖像進行拼接。低分辨率圖像 拼接完成后，以低分辨率下的平移參數為初始條件，進一步進行原始分辨 率圖像的拼接。

作為優選，低分辨率圖像拼接時的平移參數D_L的計算公式如下：