[發明專利]利用離散立方體全景圖實時合成連續平滑全景視頻的方法

有效

• 申請號: 201310024768.8
• 申請日: 2013-01-23
• 公開（公告）號: CN103077509A
• 公開（公告）日: 2013-05-01
• 發明（設計）人: 萬亮;馮偉;張加萬;趙強
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

技術領域

本發明屬于計算機圖形學和計算機視覺領域，特別是涉及一種利用離散的立方體全景圖實時合成連續平滑全景視頻的圖像插值技術。

背景技術

隨著圖像拼接技術的發展和全景相機的誕生，越來越多的立方體全景圖被應用到線上虛擬現實和漫游導航系統中。但是由于網絡帶寬限制，服務商只能提供在熱點地區所拍攝的全景圖，即離散全景圖數據。現有的在線虛擬漫游系統通常只提供對單張全景圖的瀏覽，相鄰兩張全景圖間的過渡則利用某種形式的疊加實現，其效果呈現出明顯的視覺不連續性。為了提高虛擬瀏覽的用戶體驗，可以使用視點插值的方法。然而，目前大多數視點插值方法（如文獻^[1]）的處理對象為平面圖像，不能直接應用到立方體全景圖上。全景圖的插值方法（如文獻^[2]）雖然可獲得較好的插值結果，但其步驟繁瑣復雜，不易進行并行加速，而且在立方體全景圖六個面的銜接處可能引入較明顯的視覺錯誤。

上述的插值方法例如圖像配準（見參考文獻[1]），該插值方法由Siu和Lau在2005年提出利用圖像配準的方法對平面圖像進行插值，以生成新視點的平面圖像。具體步驟是，首先對同一場景在不同視角下拍攝的三張輸入圖像進行特征點檢測，并進行特征匹配；進而利用三焦點張量模型及隨機抽樣一致性(RANSAC)算法對匹配點進行過濾，基于相機物理模型估計三張輸入圖像的相機相對位置；基于匹配的特征點對圖像做三角剖分，進而檢測遮擋區域，在發生遮擋的區域內，改變特征點檢測的閾值重新生成特征點，反復此過程以消除遮擋區域；對待插值的新視角，計算其與輸入圖像的單應矩陣，從而對圖像進行插值。該方法對輸入視圖間的基線沒有嚴格的要求，能很好地用于多視角的平面圖像插值，然而不能直接應用于立方體全景圖的插值。

立方體三角剖分方法（見文獻[2]）是對Siu和Lau所提技術的擴展，由Zhang等于2011年提出，將其應用到立方體全景圖插值上。該方法在獲取相鄰立方體全景圖的特征匹配后，對立方體全景圖進行三角剖分。由于立方體全景圖包含上、下、左、右、前、后六個面，Zhang等人將立方體全景圖的三角剖分劃分為三部分：每個面的中間區域，水平四個面的相互銜接處，以及剩余部分（包含上下兩個面及與水平四個面的銜接處），通過對這三類區域分別采取不同三角剖分策略，實現對整個立方體全景圖的剖分。在利用單應矩陣對全景圖進行插值時，該方法同樣區分不同的區域，并對各區域應用不同的插值策略。由于分區域考慮，該算法較為繁瑣，并且在立方體六個面的銜接處可能產生明顯誤差。

參考文獻

[1].A.Siu?and?R.Lau,“Image?registration?for?image-based?rendering,”IEEE?Transactions?on?Image?Processing,vol.14,no.2,pp.241–252,Feb.2005.

[2].C.Zhang,Y.Zhao,and?F.Wu,“Triangulation?of?cubic?panorama?for?view?synthesis,”Applied?Optics,vol.50,no.22,pp.4286-4294,Aug2011.

發明內容

基于上述現有技術中在處理立方體全景圖插值問題上的不足，本發明提出一種利用離散立方體全景圖實時合成連續平滑全景視頻的方法，將立方體全景圖投影到球面域做處理的解決方案，設計在球面域對立方體全景圖做三角網格剖分的方法，基于球面域的立方體全景圖的預處理技術與立方體全景圖的實時插值技術，實現立方體全景圖的匹配、三角形網格化和全景圖實時插值，在有限網絡帶寬環境下實時合成連續平滑、銜接自然的全景圖視頻序列。

本發明提出了一種利用離散立方體全景圖實時合成連續平滑全景視頻的方法，包括以下步驟：

步驟一、對作為輸入的每兩張連續的立方體全景圖的每個面建立高斯差分金字塔，對金字塔上的每個像素，將它和金字塔同層的8個相鄰像素以及金字塔上下兩層對應的18個像素進行比較，檢測它是否是極值點，將檢測到的極值點作為預選的特征點；通過擬合3維2次曲線對特征點進行精確定位，即將空間尺度函數進行泰勒展開對該式求導，并令其為0得到特征點的精確位置再剔除低對比度和邊緣響應的特征點；通過特征點鄰域內像素的梯度信息確定特征點的主方向；根據特征點的位置、尺度、主方向信息在對應鄰域內計算梯度直方圖，作為特征點的128維的特征描述符；將立方體全景圖六個面上檢測到的特征點放到一起作為該圖的特征點集，實現立方體全景圖的SIFT特征點檢測；