[發明專利]一種360度全景視頻的實現方法

有效

• 申請號: 201710349752.2
• 申請日: 2017-05-17
• 公開（公告）號: CN107426491B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 艾達;董久軍
• 申請（專利權）人: 西安郵電大學
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/265;G06T3/40
• 代理公司: 北京華仲龍騰專利代理事務所(普通合伙) 11548
• 代理人: 李靜

本發明公開了一種360度全景視頻的實現方法，它涉及視頻處理技術領域。它使用現有的視頻壓縮標準來壓縮和并行傳輸每個相機采集的視頻內容，單個相機拍攝的視頻是二維平面視頻，適合使用現存的是視頻壓縮標準，在并視頻碼流中記錄相機的標記信息，在接收端，既可以解碼顯示全部視頻，也可以根據觀看者的視區，利用相機標記信息，選擇對應的相機拍攝的視頻，將其拼接融合并顯示。本發明視頻數據處理高效，將拼接工作從編碼端轉移到解碼端，無需編碼前的視頻拼接和投影變換過程，降低360度視頻編碼復雜度，提高編碼速度。

技術領域

本發明涉及的是視頻處理技術領域，具體涉及一種360度全景視頻的并行編碼以及解碼端拼接顯示的數據處理流程。

背景技術

在虛擬現實(VR)應用中，360度全景視頻是以人眼為中心點，圍繞上下180度、水平360度無縫銜接的視頻影像，影像通過全景播放器用戶可以通過點擊鼠標、觸摸屏幕、陀螺儀等方式實現上下、左右、放大、縮小無死角瀏覽或者通過虛擬現實頭盔觀看的視頻模式。通過多個相機同時拍攝不同角度的視頻，后期通過專用的軟件輸出，或者通過專門的視頻拼接軟件進行同步、拼接、調整、輸出，最后得到2：1比例的全景視頻文件，為一個球面視頻。拼接后的360度視頻圖像可以表示在一個球體表面上，但不適于存儲、傳輸和壓縮等處理。而目前的視頻編碼方法都是針對平面矩形區域，所以需要將球面視頻投影變換到二維平面上。目前有多種投影方式，常用的有球面投影，立方體投影，正方棱臺投影等。

球面投影是把每條經線展開成一條直線段，并沿赤道線繞一圈形成一個圓柱體，然后展開為一個矩形，該方法被廣泛地應用于全景視頻編碼過程中，其優點是矩形有利于用既有的視頻壓縮標準來進行壓縮，但是在變換過程中，兩極區域拉伸過大，出現變形失真。

立方體投影是將球面內容投射到外切正方體的六個面上，這樣像素分布均勻，畫面沒有幾何失真，變換后文件大小比原球面減少了25%，但由于是向球的外切正方體映射，像素密度減少，帶來了圖像出現模糊的問題。

正方棱臺投影是將球面內容投射到內嵌立方體中的正方棱臺中，投射出的平面面積比球面小，與源文件相比減少了80%的內存，但由于球面上的單位面積投射到正方棱臺平面上的面積，因位置而不同，造成縮放較為明顯，這樣會導致一定程度的原始圖像信息損失和顯示失真。

綜上所述，目前球面視頻無論經何種投影變換，都存在一定的不足，而且投影變換后的360度視頻相比傳統的平面視頻，分辨率更大，需求的碼率更多，面臨帶寬有限問題，基于此，改變原有傳輸處理360度視頻的方法，設計一種360度全景視頻的實現方法尤為必要。

發明內容

針對現有技術上存在的不足，本發明目的是在于提供一種360度全景視頻的實現方法，視頻數據處理高效，將拼接工作從編碼端轉移到解碼端，無需編碼前的視頻拼接和投影變換過程，降低360度視頻編碼復雜度，提高編碼速度，易于推廣使用。

為了實現上述目的，本發明是通過如下的技術方案來實現：一種360度全景視頻的實現方法，其步驟為：

(1)采集視頻，使用多臺相機陣列同時拍攝，所有相機一起開啟延時拍攝采集視頻內容。

(2)每個相機拍攝的視頻是二維平面視頻，使用現有的視頻壓縮標準獨立完成編碼和并行傳輸每個相機采集的視頻內容，將相機的編號、位置等標記信息記錄在壓縮視頻碼流(如HEVC中的SEI信息段)中，用于解碼端的視頻拼接。

(3)在接收端，根據顯示視區范圍的要求，既可以解碼顯示全部視頻，也可以根據觀看者的視區，利用相機標記信息，選擇對應的相機拍攝的視頻，解碼顯示對應相機的視頻內容，將其拼接融合并顯示；隨著視區的移動，不斷的匹配視頻，解碼拼接，保證360度全景的效果。

作為優選，所述步驟(1)中所有相機拍攝時的光軸交于一點，總視野為水平360度，垂直180度。