[發明專利]全景視頻及圖片的投影方法和反投影方法

在審

• 申請號: 201611209451.1
• 申請日: 2016-12-23
• 公開（公告）號: CN108243333A
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 金怡澤;仲偉昆;其他發明人請求不公開姓名
• 申請（專利權）人: 上海微湃電子科技有限公司
• 主分類號: H04N9/31
• 分類號: H04N9/31;G06F3/01;G03B37/04;G02B13/06
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;王聰

本發明公開了一種全景視頻及圖片的投影和反投影方法，所述全景視頻及圖片的投影方法包括步驟：通過多面體向球面投影，將球面圖像劃分為多個表面；通過映射變換，分別建立球面圖像各個表面與多面體的各個面之間的映射關系；分別將球面圖像的各個表面中的像素投影到存在映射關系的多面體的面。所述全景視頻及圖片的反投影方法包括步驟：通過多面體圖像向球面投影，將球面劃分為多個表面；通過映射變換，分別建立多面體圖像的各個面與球面各個表面之間的映射關系；分別將多面體圖像各個面中的像素投影到存在映射關系的球面的表面。本發明通過對全景圖像分割和多面體投影的方式，使得像素分布均勻，抑制全景圖像投影所帶來的圖像質量的下降的問題。

技術領域

本發明涉及一種視頻及圖片的投影方法和反投影方法，尤其涉及一種全景視頻及圖片的投影方法和反投影方法。

背景技術

虛擬現實(Virtual Reality,簡稱VR)技術是當前最為熱門的技術領域，特別是沉浸式虛擬現實(Immersive Virtual Reality)，使用者通過佩戴頭盔顯示器來進行人機交互，頭盔會實時把使用者的頭部位置信息反饋至主機，主機隨后發送使用者視角方向的視頻至顯示器，使用者可以隨意改變頭部位置而獲得不同視角的場景，宛如身臨其境，達到高度的沉浸感。

在虛擬現實環境下的視頻、圖片瀏覽不同于傳統的電視機、手機等二維平面屏幕瀏覽，由于使用者身處虛擬的三維環境下，使用者可以任意改變視角欣賞全景畫面，在虛擬現實系統中，視頻或圖像瀏覽是全景的，人們是站在球心的位置，來欣賞貼在整個球面上的視頻或圖像。因此，如何更準確地將畫面投影到球面上，以及如何將整個球面全景畫面保存到二維平面上是虛擬現實環境下多媒體系統要解決的關鍵問題。

當前的全景視頻、圖片的投影方法主要來源于傳統的全景圖片投影方法，主要采用圓柱面投影方式建立球面-平面的投影，除此之外，另一個使用范圍很少的全景投影方式是立方體投影。無論是圓柱面投影還是立方體投影，都是直接將整個全景圖像中所有的圖像像素直接投影至球面上，如圖1所示，當將所有圖像像素直接投影至球面上，球面上的像素分布存在疏密，都會導致球面像素的不均勻分布的問題。

圖1中左側是圓柱面投影，可以看見，在赤道附近像素分布稀疏，而在南北極附近，像素分布很密，在虛擬現實系統中，如果采用圓柱面投影，那么用戶在平視的角度下，看到的圖像單位面積像素偏少，而在仰視和俯視的情況下，看到的圖像單位面積像素偏多。與圓柱面投影類似，圖1中右側是立方體投影下的球面像素分布情況，可見在靠近立方體面中心的位置像素分布稀疏，在靠近立方體頂點的位置，像素分布密集。

圖1中的圖像像素不均勻分布會產生如下問題：

1、全景圖像質量下降

在像素分布稀疏的區域，圖像質量明顯下降；在像素分布密集的區域，由于像素過于密集，在紋理渲染時會造成像素重疊，也會導致圖像質量下降。

2、數據冗余

由于像素分布的不均勻，圖像、視頻主觀視覺效果往往由像素分布稀疏的區域所決定。為了提升視覺質量，需要滿足稀疏區域最低分辨率要求，這樣就造成在其他圖像區域的數據冗余。數據冗余使得圖像視頻的數據量變大，在數據存儲、數據網絡傳輸上造成極大浪費。

目前對于上述圖像像素不均勻分布的情況往往在對全景圖像投影后的圖像數據進行處理來消除圖像像素分布不均勻。例如在全景圖像通過圓柱面投影方式投影形成的球面圖像后，對球面圖像處理來調整球面圖像中像素分布。但是這種處理方式需要增加了大量圖像數據處理，在視頻編碼壓縮或是視頻解碼中都會導致編解碼效率的降低，所以不適用于高清視頻或圖片。

發明內容