[發明專利]全向視頻編碼和流傳輸

有效

• 申請號: 201780007828.1
• 申請日: 2017-01-23
• 公開（公告）號: CN109121466B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 溫子煜;趙一開;李吉生;郭碧川;溫江濤;李思涵;陸垚
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/70;H04N19/124;H04N19/17;H04N5/232;H04N5/247
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 周云

用于捕獲、編碼和流傳輸360°視頻的系統、設備和方法。設備允許魚眼鏡頭被放置在移動設備攝像頭的上方，從而允許兩個或更多個攝像頭捕獲完整的360°視頻。全向視頻可以被分割為多個極和一個或多個赤道區塊。可以將分段的區塊堆疊到幀中以用于編碼。為了提供自適應視點流傳輸，可以對多個視點進行編碼。

技術領域

本公開涉及視頻的編碼和流傳輸，尤其涉及對全向視頻進行編碼和流傳輸。

背景技術

全向視頻提供360°視野的環境。全向視頻允許觀看者觀看360°環境中的任何所需部分。對全向視頻進行編碼可以通過將全向視頻從球體投影到一個或多個矩形上而使用用于二維(2D)視頻的現有編碼技術。圖1描繪了使用等矩形投影(equirectangularprojection)和立方體投影(cubic projection)將全向視頻從球體100投影到一個或多個矩形102、104a、104b、104c、104d、104e、104f上。在等矩形投影和立方體投影這兩種情況下，所產生的2D投影都有浪費的像素。如圖1中所示的，全向視頻的面積是球體102的面積。如果全向視頻的球體具有半徑r，則全向視頻覆蓋4πr²的面積。然而，在等矩形投影中，球體的面積被投影到面積為2π²r²的矩形上，該面積是球體面積的157％。類似地，在立方體投影中，球體的面積被投影到6個方形上這6個方形的組合面積為6πr²，該面積是球體面積的150％。因此，這兩種投影技術都會導致相對大量的不必要的信息被編碼。

在2D視頻中，攝影師傾向于使用整幀(whole frame)來捕捉所有感興趣的區域(ROI，regions of interest)。然而，在全向視頻中，相對較高百分比的像素被用于渲染場景的環境。常規編碼方法(regular encoding method)將這些非ROI區域視為與ROI區域相同。因此，非ROI區域可以使用比特率，這不必要地導致對ROI區域進行編碼的可用比特率更低。編碼后視頻可以被流傳輸給觀看者，以交互地觀看360°視頻。

用于對全向視頻進行編碼的附加的、替代的和/或改進的編碼技術以及用于對編碼后的全向視頻進行流傳輸的改進的流傳輸技術是期望的。

發明內容

本公開提供一種使用幾乎等面積投影的新編碼方法。該編碼也可以使用以ROI為目標的編碼來提供被編碼的全向視頻。此外，本公開提供用于全向視頻的自適應流傳輸技術。本公開還提供用于捕獲和拼接全景和全向視頻的視頻捕獲設備以及技術。

根據本公開，提供一種對全向視頻進行編碼的方法，包括：接收球形全向視頻數據；將球形全向視頻數據的幀分割成北極分段(north pole segment)、南極分段(southpole segment)和至少一個連接分段(joining segment)，其中北極分段通過將球形全向視頻數據的幀的頂部球形圓頂部分(top spherical dome portion)映射到圓上而形成，南極分段通過將球形全向視頻數據的幀的底部球形圓頂部分(bottom spherical domeportion)映射到圓上而形成，至少一個連接分段通過將球形全向視頻數據的幀的、連接頂部球形圓頂部分和底部球形圓頂部分的球形連接部分(spherical joining portion)映射到至少一個矩形上而形成；將北極分段、南極分段和至少一個連接分段堆疊在一起，以形成對應于球形全向視頻數據的幀的二維(2D)幀；以及對2D幀進行編碼。

在另一實施例中，該方法還包括將球形全向視頻數據的多個幀分割成多個北極分段、多個南極分段和多個連接分段；將多個北極分段、多個南極分段和多個連接分段堆疊成多個2D幀；以及對多個2D幀進行編碼。

在該方法的另一實施例中，所述至少一個連接分段包括多個連接分段，每個連接分段將球形連接部分的一部分映射到相應的矩形上。

在該方法的另一實施例中，圓極被放置在方形內。