[發明專利]一種全景視頻六角形采樣方法及裝置

有效

• 申請號: 201710399325.5
• 申請日: 2017-05-31
• 公開（公告）號: CN107147910B
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 趙海武
• 申請（專利權）人: 上海國茂數字技術有限公司
• 主分類號: H04N19/132
• 分類號: H04N19/132;H04N19/59
• 代理公司: 31237 上海思微知識產權代理事務所(普通合伙)
• 代理人: 李時云<國際申請>=<國際公布>=<進入

本發明公開了一種全景視頻六角形采樣方法及裝置，包括：用等間隔的緯線將球面分成N＝6K個環形曲面，環形曲面依次記為O_i，i＝0,1,…N?1，從球心的角度觀察，O_i按照從上到下的順序排列；用等間隔的經線將環形曲面O_i均勻地分成T_i個區域；計算得到的球面上的每一個區域內的光線的平均值，作為該區域對應的采樣點的采樣值；將采樣值排列到一個矩陣中。該采樣方法避免了采樣結構冗余，使得在達到相同的空間清晰度的條件下，采樣點數降低，采樣后的數據量減小。

技術領域

本發明涉及視頻編碼技術，特別是涉及一種全景視頻六角形采樣方法及裝置。

背景技術

全景視頻是指空間中一個觀察點四周所有的場景，由這個觀察點所能接收到的所有光線構成。全景視頻可以抽象成一個以觀察點為中心的球面。

在用計算機處理全景視頻的時候，不可避免地要對全景視頻進行離散化空間采樣。在對全景視頻進行離散化空間采樣的時候，需要保證一定的空間采樣密度，以達到所需的清晰度。同時，又要考慮到計算機的存儲器不適合存儲球面結構的數據，需要以某種方式把采樣點排列到平面上。

現有的球面采樣方法，通常將球面采樣過程分為三步：第一步，映射，把球面映射為平面上的一個區域；第二步，平面采樣，以映射后的平面區域為基礎設計采樣點的分布方式；第三步，排列，把采樣點排列為一個矩形。

在第一步映射的過程中，經常不是等面積映射，而且球面的不同區域在映射前后面積的比例也是不同的。第二步平面采樣的過程中，經常是把采樣點設計成在映射后的平面區域中均勻分布。第一步和第二步結合起來，就會造成采樣點在球面上的分布不均勻。理論上，球面赤道附近的采樣點數應該比兩極附近采樣點數多。第三步在排列時，往往不能做到內容的完整相鄰，給視頻編碼壓縮帶來不利。

目前，有三種常用的球面采樣方法：經緯圖采樣，六面體采樣以及棱錐采樣。

經緯圖采樣如圖1所示，球面上任意一個點可以用所處的經度θ和緯度描述，θ∈[0,2π)，于是可以將球面映射到坐標系下一個寬高比為2:1的矩形。對這個矩形進行均勻采樣。經緯圖采樣方法雖然具有完整相鄰性，但在球面的兩極附近采樣密度過高，會產生很大的冗余。

六面體采樣如圖2所示，首先將球面映射為其外切正六面體的六個面，從而得到六個平面正方形，再對六個平面正方形進行均勻采樣，最終用某種方式把六個正方形拼成一個矩形。六面體采樣的采樣點在球面上的分布也是不均勻的，依然存在較大的冗余，并且矩形的內容也不具有完整相鄰性。

棱錐采樣如圖3所示，首先將球面映射為一個外切正四棱錐，再將該正四棱錐的每個側面(等腰三角形)沿底邊垂線的方向進行壓縮，直到頂角變成直角。這樣底面和四個經過二次映射的側面正好可以拼成一個正方形。最后對這個正方形進行均勻采樣。棱錐采樣的采樣點在球面上的分布也是不均勻的，矩形的內容也不具有完整相鄰性。其不均勻程度介于經緯圖采樣和六面體采樣之間，冗余程度也介于經緯圖采樣和六面體采樣之間。

綜上所述，已有的全景視頻采樣方法的主要缺點是存在較大的采樣結構冗余和最終形成的矩形不具有內容完整相鄰性。采樣點在球面上不均勻分布，不僅會帶來采樣冗余，還給視頻質量評價帶來不便，因為最終的采樣點對應的球面面積是不同的，因此每個采樣點的失真對視頻質量的影響也是不同的，在計算全景視頻經過某種處理，例如壓縮解壓縮后的質量損失時，必須考慮到每個采樣點的重要性是不同的。矩形視頻在內容上的不相鄰性也不利于視頻編碼的壓縮編碼。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種全景視頻六角形采樣方法及裝置，其可以使采樣點在球面上的分布滿足赤道附近采樣點數多，兩極附近采樣點數很少，從而避免了采樣結構冗余，使得在達到相同的空間清晰度的條件下，采樣點數減少，而且，拼成的矩形具有良好的內容相鄰性，能提高編碼壓縮效率。