[發明專利]一種分段采樣下保持最小變形度的全景視頻映射方法

有效

• 申請號: 202010210634.5
• 申請日: 2020-03-23
• 公開（公告）號: CN111402123B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 趙海武;陳鈺;何鳴;葛平;邢丹;馮藝妍
• 申請（專利權）人: 上海大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明涉及一種分段采樣下保持最小變形度的全景視頻映射方法，具體包括如下步驟，用等間隔的緯線將球面分成30n個環形曲面，環形曲面依次記為O_i，i＝0,1,…30n?1；用等間隔的經線將每個環形曲面均勻地分成T_i份區域；計算環形曲面上每份內光線的平均值，作為該區域對應的采樣點的采樣值；將采樣等間距分割為6個子集；將6個子集內采樣點重新排列為矩形。該采樣方法不僅減少了采樣結構冗余，采樣逼近均勻，而且采樣方式具有最小變形度的理論支撐。該方法提高壓縮效率，并具有良好的實施效果。

技術領域

本發明涉及全景視頻編碼技術領域，尤其涉及一種分段采樣下保持最小變形度的全景視頻映射方法。

背景技術

全景視頻作為VR視頻的重要來源之一，其本質是由多個鏡頭組成的360度相機拍攝所得的球面視頻，如圖1所示。因為全景視頻存儲了所有方向的視覺信息，用戶轉動眼睛就可以觀看任意方向上的視覺內容，所以有一種身臨其境的感受，這也決定了全景視頻比傳統視頻具有更大的信息量。現有的視頻編解碼標準如H.265和AVS等適用于平面矩形視頻，為了利用傳統的視頻壓縮技術去壓縮全景視頻，需要研究如何將球面視頻上的點映射到平面矩形視頻內。

球面映射的實質是球面采樣，將從球面視頻上采樣的點排列得到平面矩形視頻。現有的映射方法依舊存在采樣密度不均勻和數據冗余度較高的問題。以1幀為例，傳統經緯圖采樣如圖2所示，在不同緯度采樣相同數量的點，形成一個寬高比為2：1的矩形圖像。采樣過程中兩極采樣密度過高，產生很大的冗余。六面體采樣如圖3所示，從球心發出的射線穿過球面和外切六面體，同一射線上的點一一對應的進行采樣，從而得到六個平面正方形，再用某種方式把六個正方形拼成一個矩形。六面體采樣的六個面的邊緣附近采樣密度明顯高于面中心的采樣密度，同樣也存在采樣不均勻的問題，而且六個面不能拼接成一張圖像內容連續的圖片，這不但不利于視頻編碼中的幀內和幀間預測，還會降低視頻的主觀質量。八角形采樣如圖4所示，根據一定的采樣公式對球面進行采樣，得到一幅八角形平面圖像，再進行切割、重排列得到平面矩形視頻。該方法雖然盡可能地保證了圖像內部內容的連續性，但是采樣依舊不均勻，且采樣公式中斜率的確定科學依據不足。

綜上所述，已有的全景視頻采樣方法中，采樣點在球面上不均勻分布，不僅會帶來數據冗余，還給視頻質量評價帶來不便。如果存在一個映射方式能夠達到基本的采樣均勻，減小數據冗余，保持內容的連續性，一定可以大幅提升映射質量，并為后續編碼壓縮提供良好的基礎。

發明內容

為了解決現有技術存在的問題，本發明的目的是提供一種分段采樣下保持最小變形度的全景視頻映射方法，將球面按緯度均勻分段后，對不同段分別均勻采樣，借此來逼近整體的均勻采樣并減少數據冗余。

為達上述目的，本發明采用如下技術方案：

一種分段采樣下保持最小變形度的全景視頻映射方法，具體步驟如下：

步驟一，根據空間清晰度要求，用等間隔的緯線將球面分成30n個環形曲面，將這些環形曲面依次記為O_i，i＝0，1，...，30n-1；

步驟二，用等間隔的經線將每個環形曲面均勻的分成T_i份，

步驟三，計算環形曲面上每個區域內光線的平均值，作為該區域對應的采樣點的采樣值，采樣點記為c(i，j)，0≤i＜30n，0≤j＜T_i；

步驟四，將采樣點分為6個子集，依次記為S_k，S_k＝{c(i，j)|5kn≤i＜5(k+1)n，0≤j＜T_i}，k＝0，1，2，3，4，5；

步驟五，拼接，即重新將采樣點排列為矩形，排列后采樣點記為p(y，x)，0≤y＜20n，0≤x＜62n，排列規則如下：