[發(fā)明專利]帶有時間域同步校準技術的多源視頻拼接方法

有效

• 申請?zhí)枺?/td>: 201210337332.X
• 申請日: 2012-09-12
• 公開（公告）號: CN102857704A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設計）人: 史再峰;劉金濤;徐江濤;高靜;姚素英
• 申請（專利權）人: 天津大學
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N5/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

技術領域

本發(fā)明屬于視頻處理技術領域，針對多視頻源的視頻拼接不同攝像頭時間同步的校準方法，校準了不同攝像頭之間存在的時間誤差，從空間與時間兩個維度完成針對多視頻源的視頻同步拼接，具體講，涉及帶有時間域同步校準技術的多源視頻拼接方法。

背景技術

如今，基于視頻圖像的拼接技術研究是一個日益流行的研究領域，他已經成為照相繪圖學、計算機視覺、圖像處理和計算機圖形學研究中的熱點。而多攝像頭的視頻圖像拼接技術在攝影測量學、計算機視覺、遙感圖像處理、醫(yī)學圖像分析、計算機圖形學等領域有著廣泛的應用價值。由于普通的圖像只有兩個維度的概念，即空間上的水平和垂直方向；而對于視頻圖像信息，則有時間上的概念，還包含了時間上的維度，因此視頻圖像的處理不能等同于傳統(tǒng)的靜態(tài)圖像處理。對于靜態(tài)圖像拼接技術，一般來說，對于圖像拼接的過程由圖像獲取，圖像配準，圖像合成三步驟組成，其中圖像配準是整個圖像拼接的基礎。圖像拼接作為這些年來圖像研究方面的重點之一，國內外研究人員也提出了很多拼接算法。圖像拼接的質量，主要依賴圖像的配準程度，因此圖像的配準是拼接算法的核心和關鍵。而對于圖像的配準研究的前提是圖像信息必須經過精確的校準，這樣才能保證配準的準確性，以滿足要求。對于視頻拼接技術，其拼接原理是在靜態(tài)圖像拼接技術的基礎上實現(xiàn)的，但是擴展了圖像的時間維度信息，因此時間上的校準同步顯得尤為重要。目前多視頻源的圖像拼接及其他處理技術都存在較大的不足之處，其配準流程如圖1-1所示。對于不同視頻源的幀圖像，由于不同攝像頭無法完成時間上的同步，導致了不同視頻源的圖像幀存在時間誤差，在后續(xù)的拼接過程中難以找到不同視頻源的最佳匹配幀進行配準及拼接。并且由于這個時間誤差使得不同視頻源拍攝的物體存在時間誤差的積累，這樣在視頻攝錄過程中出現(xiàn)的運動物體就不可避免的會出現(xiàn)鬼影以及物體形變現(xiàn)象，使得在此之后的處理過程中累計誤差更加難以得到準確的圖像信息。在時間域上兩個攝像頭的的不同步注定了不同攝像頭攝錄的幀圖像存在時間維度的錯位情況，這樣的視頻幀，尤其是在高清視頻領域里會出現(xiàn)明顯的物體錯位及運動物體黑影現(xiàn)象。

發(fā)明內容

本發(fā)明旨在克服現(xiàn)有技術的不足，避免有運動物體的視頻拼接過程中出現(xiàn)的鬼影以及物體形變現(xiàn)象，在時間軸上完成不同視頻源信息的同步，使得在接下來的拼接過程中能夠很好的用于基于靜止圖像配準拼接的各種處理，得到較好的效果，為達到上述目的，本發(fā)明采取的技術方案是，帶有時間域同步校準技術的多源視頻拼接方法，包括如下步驟：把不同視頻源的輸入視頻序列存入到幀緩沖中進行預處理，將視頻幀圖像從RGB的色彩空間投射到YUV色彩空間；利用圖像灰度值檢測各個視頻幀圖像的Harris角點，對角點的分布進行優(yōu)化，在指定窗口的范圍內將角點按相應函數(shù)進行從大到小排序，并且只保留前幾個角點作為最終的角點，將其余的角點舍去；在得到不同視頻源檢測到的角點后，采用歸一化互相關方法(NCC)進行角點匹配運算：用一個M×N個像素點大小的模板窗口在指定搜索窗口范圍內滑動，計算模板窗中心點與待配準角點的相似性度量函數(shù)值，在指定范圍內取得的極大值點認為是與待匹配點相似性最大的角點；

利用仿射變換矩陣，將兩幅待拼接的圖像在空間上統(tǒng)一坐標，完成空間匹配；

以多個視頻源中的一個視頻源1為基準，連續(xù)取得在當前幀T2前后的連續(xù)幾幀圖像信息，即包括T0、T1、T3、T4幀，進行運動物體識別與估計，計算得到當前幀圖像中運動物體的運動矢量v，把視頻源2中的T2幀中的運動物體映射到視頻源1的T2幀中，根據(jù)運動矢量v及運動物體映射后位移差ΔS，利用公式(4)估計到兩個視頻源1與2的T2幀在時間上的誤差ΔT：

ΔT=ΔSV---(4)]]>

利用時間誤差ΔT作為像素值校準的權重，對待拼接圖像進行公式(5)所示的像素級校準：

F_calibration(x，y)＝w·f₁(x，y)+(1-w)·f₂(x，y)

w＝T_cycle-ΔT????????????????????????????????(5)