[發明專利]全景視頻最小變形度映射方法

在審

• 申請號: 202110504138.5
• 申請日: 2021-05-10
• 公開（公告）號: CN113362336A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 邢丹;趙海武;滕國偉
• 申請（專利權）人: 上海大學;上海國茂數字技術有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/90;G06T9/00
• 代理公司: 上海思微知識產權代理事務所(普通合伙) 31237
• 代理人: 曹廷廷

本發明提供了一種全景視頻最小變形度映射方法，包括以下步驟：根據空間清晰度要求，用等間隔的緯線將球面分成30n個環形曲面，并將所述環形曲面依次記為A_i，i＝0，1，…，30n?1；將所述環形曲面A_i用等間隔的經線均勻的分成M_i個區域，計算所述環形曲面A_i上每個區域內光線的平均值，作為所述區域對應的采樣點的采樣值；將所述采樣點按照一定規則重新排列為矩形。本發明提供的全景視頻最小變形度映射方法，可以使采樣點在球面上盡可能滿足均勻采樣，既保持赤道附近采樣點數多，兩極采樣點數少的特性，也減少重排列后圖像內容的不連貫性，在達到相同的空間清晰度的條件下，優化了采樣密度不均勻問題，提高了壓縮效率。

技術領域

本發明全景視頻編碼技術領域，尤其涉及一種全景視頻最小變形度映射方法。

背景技術

全景視頻是一種包括水平360度，垂直180度全方位視角的全向性視頻。高分辨率，多視角的特點使其具有更為龐大的信息量，同時傳統視頻編碼標準如HEVC，VVC，AVS等只能針對每幀分辨率相同的平面矩形視頻進行編碼，無法直接處理球面的全景視頻。因此，研究如何從球面視頻采樣為平面視頻是目前研究全景視頻壓縮的必要過程。

從球面視頻采樣到平面視頻的過程主要包括三個部分：映射，采樣和重排列。全景視頻映射的實質是對球面進行合理的采樣，將采樣點在平面上排列為矩形點陣的過程，但現有的映射方法普遍存在采樣密度不均勻，映射后部分視頻內容變形程度嚴重的現象。排列就是采樣點重新排列，在確保排列為矩形的條件下，盡量減少矩形視頻中的不連續畫面。

所謂采樣密度，是指球面上某局部單位面積的采樣點數，采樣密度不均勻，映射后的物體就會發生變形，影響后續的處理。以一幀為例，傳統的經緯圖映射方法通常是在一個半徑為r的球面上，在不同緯度采樣相同數量的點，形成一個大小為2πr×πr的矩形平面視頻。由于不同緯度信息量不同，因此采樣密度從赤道附近向兩極逐漸增大，兩極物體變形程度嚴重。目前常通過六面體采樣和八角形映射的方式來改善變形情況。六面體映射是將球面視頻映射到正方體的六個面上，然后將六個面展開并重排列為緊湊的矩形視頻。每個面中心處的采樣密度最低，面邊緣采樣密度明顯高于面中心。六面體映射改善了采樣密度不均勻的問題，但仍然存在明顯的采樣密度不均勻現象。八角形映射是依據特定的采樣公式將球面映射為八角形，并通過切割重排列像素點使其重新組成一個緊湊的矩形視頻，但這種方法進一步改善了采樣密度不均勻問題，但仍然沒有達到最優的效果。

綜上所述，現有的全景視頻采樣方法中，存在的采樣密度不均勻，視頻內容變形嚴重的問題，不僅會給壓縮編碼帶來一定的負擔，還會影響后期主觀和客觀質量的評價。因此，需要進一步研究采樣均勻，使內容變形程度達到最小，同時在重排列過程中盡量保持采樣點之間相關性的映射方式，以提升編碼質量和主觀體驗。

發明內容

本發明的目的在于提供一種全景視頻最小變形度映射方法，可以使采樣點在球面上盡可能滿足均勻采樣，既保持赤道附近采樣點數多，兩極采樣點數少的特性，也減少重排列后圖像內容的不連貫性。

為了達到上述目的，本發明提供了一種全景視頻最小變形度映射方法，包括以下步驟：

根據空間清晰度要求，用等間隔的緯線將球面分成30n個環形曲面，并將所述環形曲面依次記為A_i，i＝0，1，…，30n-1；

將所述環形曲面A_i用等間隔的經線均勻的分成M_i個區域，

其中，c為根據最小變形度計算公式得到的最優解；

計算所述環形曲面A_i上每個區域內光線的平均值，作為所述區域對應的采樣點的采樣值；

將所述采樣點按照一定規則重新排列為矩形。