[發明專利]雙視點視頻到多視點視頻的實時自適應生成方法

無效

• 申請號: 201110348720.3
• 申請日: 2011-11-07
• 公開（公告）號: CN102368826A
• 公開（公告）日: 2012-03-07
• 發明（設計）人: 楊敬鈺;李素梅;武國梁;侯春萍
• 申請（專利權）人: 天津大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

技術領域

本發明涉及視頻、基于左右視點的中間虛擬視點生成技術領域，具體講，涉及雙視點視頻到多視點視頻的實時自適應生成方法。

背景技術

目前，多視點立體圖像的實時獲取方法與技術仍然是多視點自由立體成像技術尚未解決的瓶頸問題。要實時采集多個視點的立體圖像，通常的做法是用平行排列的N個攝像機同時拍攝同一場景，從而來獲得不同位置(視點)的N幅圖像。但這種方法本身存在許多問題：(1)系統笨重，實時采集不方便，只能用于固定場景的多視點立體圖像獲取。(2)由于舒適容像的需要，對多個攝像機的光學參數和成像參數的一致性程度提出了非常高的要求，給校準、光學系統的調整帶來了很大的難度。(3)采集到的多視點圖像數據量過大，不利于壓縮、傳輸和存儲。

虛擬視點生成是指利用兩個或多個攝像機拍攝的同一場景的圖像通過插值生成此場景其他各個視點的圖像，利用較少的設備獲取場景深度，從而能夠有效的減輕攝像機校正的誤差，滿足多視點自由立體顯示的需求。

虛擬視點生成作為立體顯示關鍵技術之一，成為該領域研究的熱點。Eric?Chen提出一種基于攝相機的位置方向參數和圖像的像素深度信息的虛擬視點圖像生成方法，由于需預先提供相機參數和深度信息，這種方法在應用上有很大局限性。McMillan提出一種通過重投影拼接生成新視點圖像的方法，它假定采集的圖像都是以相同的攝像機內參數拍攝的，而這是不可能實現的，因此，在應用中也存在局限性。Seitz提出了一種可以作為生成新視點圖像的原理框架算法，但在實際應用中，受圖像像素匹配精度影響，所得圖像質量并不好。并且，該方法只適應攝像機環繞景物運動采集的源圖像，對攝像機前后運動采集的圖像無能為力。大連理工大學的胡志萍在其博士論文《圖像特征提取匹配和新視點圖像生成技術研究》中提出一種基于攝像機橫向和縱向移動采集的圖像生成新視點圖像的方法，該方法采用了動態規劃的匹配方法，復雜度較高，插值生成后的圖像還得進過后變換來得到最后的虛擬視點圖像。預變換和后變換都會有偏差，導致最后得到的并不是真正虛擬視點處的圖像。

發明內容

為克服現有技術的不足，提供一種使用較少攝像機即能實現多視點立體圖像的實時獲取方法，本發明采取的技術方案是，雙視點視頻到多視點視頻的實時自適應生成方法，包括下列步驟：

1、空域深度匹配

a)以左視點圖像上某一像素點為中心進行十字搜索，搜索邊界由Canny邊緣檢測算子獲得，確定匹配窗口；

b)在右視點圖像對應點的某一水平范圍內，進行十字搜索，進而獲得若干待匹配窗口；將匹配窗口與若干待匹配窗口進行區域對比，取公共交集部分區域，得到若干個交集區域；

c)設計能量函數，將匹配窗口、待匹配窗口、額外補償信息代入能量函數進行計算，選擇能量函數最小值對應的待匹配窗口，得到初始視差賦給左視點對應的深度圖點；

d)區域視差精細化，根據連續性和一致性準則設計矯正函數，糾正初始視差圖中分配錯誤的視差；

2、時域深度匹配

a)利用背景/前景分割結果，對于背景區域繼承上一幀的深度信息；

b)對于前景區域，重新利用基于十字搜索方法確定前景區域中的自適應窗口，并在另一個視點圖像上進行匹配，求得更新的深度；

3.中間虛擬視點的生成

a)對視點深度圖按照中間視點的空間幾何關系進行視差分配，形成N+1份視差，作為視點插值的參數；

b)利用標準深度圖進行虛擬視點生成，通過視點插值生成中間6個虛擬視點。

所述在右視點圖像對應點的某一水平范圍內，進行十字搜索，進而獲得若干待匹配窗口；將匹配窗口與若干待匹配窗口進行區域對比，取公共交集部分區域，得到若干個交集區域，具體步驟是，以左視點圖像上某一像素點為中心進行十字搜索，搜索邊界由Canny邊緣檢測算子獲得，確定匹配窗口，若為左視點canny圖I每一個像素p＝(x_p，y_p)，同樣對于右視點canny圖I′的p′，建立一個十字，十字分為水平部分H(p)和垂直部分V(p)；需要自適應地確定四個參數即十字的左、右、上、下的長度：