[發明專利]一種無有效重疊變結構的定點定向視頻實時拼接方法

在審

• 申請號: 201510016447.2
• 申請日: 2015-01-13
• 公開（公告）號: CN104506828A
• 公開（公告）日: 2015-04-08
• 發明（設計）人: 蔣朝輝;陳致蓬;桂衛華;陽春華;鄧康
• 申請（專利權）人: 中南大學
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/265
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 李相雨

技術領域

本發明涉實時視頻圖像拼接技術領域，更具體涉及一種無有效重疊變結構的定點定向視頻實時拼接方法。

背景技術

近年來隨著視頻拼接技術的快速發展，其在建立大視角的高分辨率圖像領域、虛擬現實領域、醫學圖像領域、遙感技術以及軍事領域中均有廣泛的應用。視頻拼接技術主要包含圖像拼接技術和視頻實時合成技術。其一，圖像拼接技術是實現視頻拼接技術的核心，主要包括圖像配準和圖像融合兩個關鍵環節：圖像配準是實現圖像拼接的基礎，其目標是對在不同攝像位置和角度下的多幅圖像進行匹配；圖像融合則是通過消除由于幾何校正、動態的場景或光照變化引起的相鄰圖像間的強度或顏色不連續現象，合成高質量的圖像。其二，視頻實時合成技術則是通過采用FPGA、英特爾的IPP、英偉達的CUDA等平行計算架構，提高圖像拼接算法的執行效率來實現的。

從圖像采集的角度來看，大致可以分為四類。1)單相機固定支點，鏡頭旋轉對同一場景進行圖像采集；2)單相機固定在一個滑軌上平行移動對同一場景進行圖像采集；3)多相機在不同視向角，不同方向對同一場景進行圖像采集，圖像間具有可用與圖像拼接的有效重疊區域；4)多相機在不同視向角，不同方向對同一場景進行圖像采集，圖像間無能用于圖像拼接的有效重疊區域，甚至圖像間有較小的間隙和漏洞。根據本發明研究的實際問題，主要關注第四類情況，即利用多路攝像頭定點定向對同一場景進行視頻采集和拼接。

從圖像拼接的核心技術圖像配準角度來看，目前圖像配準技術有兩種，即相位相關度法和幾何特征法。相位相關度法具有場景無關性,能夠將純粹二維平移的圖像精確地對齊。但相位相關度法只適合解決存在純平移或旋轉的圖像配準問題，在仿射和透視變換模型中，該方法就無法配準圖像，而在實際過程中不可能做到相機位置與成像平面的絕對平行，故其實際使用價值低。幾何特征法是通過基于圖像中的低級幾何特征，例如邊模型、角模型、頂點模型等，對圖像進行拼接的方法。但基于幾何特征的圖像配準方法的前提是兩圖像必須要有一定量的重疊區域，并且匹配的圖像在時間上必須具有連貫的特征，對于多相機在不同視角，不同方向對同一場景采集的無重疊區域的圖像拼接無能無力。

從圖像融合的角度來看，其目的是從圖像顏色亮度和結構上消除圖像間的拼接縫。圖像融合的方法很多，對于圖像顏色和亮度的融合算法，簡單的有光強加權平均和加權平均融合，復雜的有圖像Voronoi權重法和高斯樣條插值法。其核心思想是先對圖像進行分割，利用重疊區域作為匹配的標準，再通過圖像校正、顏色變換和像素插值等手段來融合圖像的拼接縫。而對于圖像結構上的過度差異，一般都是采用簡單的羽化的方法，根據歐氏距離對權重進行平均，再利用濾波技術消除由于羽化造成的圖像模糊現象和拼接視頻中的鬼影現象。顯然，對于多相機在不同視角，不同方向對同一場景采集的無重疊區域的圖像拼接縫的融合現有方法無法處理，并且對于實時的視頻流融合來說，現有技術也無法滿足實時性的要求。

專利公開號CN103501415A發明專利是一種基于重疊部分結構變形的視頻實時拼接方法，其工作原理是首先計算兩幅圖像各自的拼接縫，然后在兩條拼接縫上進行一維特征點的提取與匹配，將匹配的特征點移動到重合位置并記錄位移量，在設定的變形擴散影響范圍內進行結構形變的擴散，最后計算結構變形后的梯度圖，利用梯度域上的融合方法完成圖像融合得到最終的拼接圖像。為了滿足視頻拼接的實時性的要求，專利中將圖像拼接算法在FPGA上實現，從而達到快速高效的視頻拼接效果。顯然此專利采用的方法無法對多相機在不同視角，不同方向對同一場景采集的無重疊區域的圖像進行拼接處理，無法滿足本發明研究的實際問題的實際需求。

專利公開號CN101593350A發明專利是一種深度自適應視頻拼接的方法、裝置和系統。其視頻拼接系統包括攝像機陣列、校準裝置、視頻拼接裝置以及像素插值器和混合器。首先，攝像機陣列生成多個源視頻；然后，校準裝置執行對極校準和攝像機位置校準，確定多個源視頻中每一空間相鄰圖像對的接縫區域，并生成像素索引表；再次，視頻拼接裝置利用平均偏移值形成像素索引表的補償項更新像素索引表；最后，像素插值器和混合器利用更新后的像素索引表結合多源視頻生成全景視頻。顯然，此專利希望通過簡化圖像拼接算法，在拼接質量和拼接效率上尋求一個平衡點，從而實現對視頻流的拼接，但隨著采集視頻的多樣性和復雜性，單一串行的圖形拼接算法根本無法滿足數據量大，計算復雜的視頻流拼接的實時性要求，實用性差。

發明內容