[發明專利]一種柱面立體全景視頻快速反變換方法

有效

• 申請號: 201610488449.6
• 申請日: 2016-06-29
• 公開（公告）號: CN105979241B
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 羅文峰
• 申請（專利權）人: 深圳市優象計算技術有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京中濟緯天專利代理有限公司11429
• 代理人: 陳立新

技術領域

本發明涉及計算機視覺領域，特指一種柱面立體全景視頻快速反變換方法。

背景技術

柱面立體全景視頻快速反變換方法是計算機視覺領域的重要問題之一，是虛擬現實應用中的關鍵性技術，在虛擬校園、虛擬旅游、網上商業產品展示、軍事仿真、等多個領域均有廣泛應用。

柱面正投影方法是將多張實景圖像投影到一個圓柱面上，以柱面圖像的形式存儲。瀏覽時，由于柱面圖不符合人的視覺習慣，故需要把柱面視圖還原成符合人眼視覺習慣的平面視圖。通常，從柱面圖像重新構造出柱面視點空間每一個視線方向所對應視圖的方法稱為柱面圖像反變換方法。本發明中的柱面立體全景視頻是由水平面360度的連續雙目立體柱面圖像序列構成。柱面立體全景視頻快速反變換方法即把立體全景視頻每一幀對應視角的雙目立體柱面圖像快速還原成雙目立體平面視圖。

目前，柱面全景圖的獲取多采用圖像拼接的方法得到，即通過相機不同拍攝角度，獲取場景各個方向上的實景圖像，并將實景圖像上的點通過柱面正投影投影到柱面上，然后把投影到柱面上的圖像通過圖像拼接和圖像融合得到柱面圖像。雙目立體全景圖像則是由雙目立體攝像機拍攝的有視差的圖像對通過柱面圖像拼接和圖像融合得到的兩幅柱面全景圖。雙目立體全景視頻就是由連續的雙目立體全景圖像對構成。立體全景視頻與全景視頻的平面視圖恢復原理是一致的。圖1為柱面正投影和柱面圖像反投影示意圖?，F有的由柱面圖像生成平面實景圖像的方法是利用柱面圖像反投影方法實現的，反投影方法對應坐標計算公式為：

通過該公式可計算柱面圖像上任意像素點Q(x′,y′)與視線方向θ處反投影圖像上的對應點P(x,y)，其中，f為焦距，W為平面視圖的寬度，H為平面視圖的高度?？梢钥闯?，這種傳統的柱面投影方法公式復雜，計算環節多，在柱面圖像觀看時，反投影方法的連續計算復雜度增加，對柱面立體全景視頻要求實時觀看的結果難以滿足。同時，由實景圖像生成柱面圖像時，是一個大圖像生成小圖像的過程，實景圖像上的部分像素點會丟失，而由柱面圖像生成平面實景圖像時，是一個由小圖像生成大圖像的過程，像素點并不能一一對應被賦值。用傳統的柱面反投影方法來將柱面圖像還原成平面視圖，還原圖像中會有像素點因沒有對應的值而填充為黑色像素，造成圖像質量下降。常用的提高視圖質量的方法是利用插值方法來提高圖像畫質，而這種方法增加了計算機處理的難度。

發明內容

本發明針對雙目立體柱面全景視頻傳統反變換方法計算復雜，生成平面視圖速度慢的缺點，提出了一種柱面立體全景視頻快速反變換方法。該方法通過對雙目立體全景視頻每一幀對應視角的雙目立體柱面全景圖進行快速雙目立體平面視圖的還原而實現立體視頻的快速變換，旨在提高生成雙目立體平面視圖的速率，加強觀看時的視覺一致性，提高瀏覽質量，實現全景立體視頻的即時觀看。

本發明的技術方案是：

一種柱面立體全景視頻快速反變換方法，該方法輸入是360度的雙目立體柱面全景視頻，輸出是對應視角的雙目立體平面視頻，包括以下步驟：

(1)建立圓柱面投影模型的幾何關系，根據平面實景圖像與柱面圖像的平面幾何關系，得到柱面圖像正投影計算公式其中(x,y)為平面實景圖像中的像素點，(x′,y′)為平面實景圖像上的像素點(x,y)投影到柱面圖像上的像素點，f為圓柱面半徑即焦距；

(2)用步驟(1)中的柱面圖像正投影計算公式計算平面實景圖像各像素點(x,y)與柱面圖像上像素點(x′₀,y′₀)的對應關系，此時，視角為0；

(3)把步驟(2)中計算得到的平面實景圖像與柱面圖像的像素點對應關系存入一個數組m中，并將該數組m作為一個模板數組；

(4)設視角為θ，焦距為f，求得柱面圖像上任意像素點的坐標(x′,y′)為(x′₀+f·θ,y′₀)；

(5)利用步驟(3)中的模板數組m找到(x,y)對應的相對坐標(x′₀,y′₀)，并通過步驟(4)求取到平面實景圖像(x,y)在柱面圖像中的實際對應點(x′₀+f·θ,y′₀)，并將(x′₀+f·θ,y′₀)的像素值賦給(x,y)；

(6)根據立體全景視頻場景的焦距f，通過步驟(2)、(3)得到模板數組m，對立體全景視頻每一幀對應視角θ的影像，通過步驟(4)、(5)以及求取的數組模板m求得對應平面實景視圖；