[發明專利]用于編碼和解碼三自由度和體積式兼容的視頻流的方法和設備

在審

• 申請號: 201980046688.8
• 申請日: 2019-06-24
• 公開（公告）號: CN112400316A
• 公開（公告）日: 2021-02-23
• 發明（設計）人: J.弗勒羅;B.丘波;G.布里安德;R.多爾;T.塔皮;F.圖多
• 申請（專利權）人: 交互數字VC控股公司
• 主分類號: H04N13/161
• 分類號: H04N13/161;G06T15/20;H04N19/597
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 劉茵

三維場景序列由編碼器編碼為視頻，并傳送到恢復該3D場景序列的解碼器。3D場景中從確定的視點可見的點被編碼為流的第一軌道中的顏色圖像，以便可獨立于流的其他軌道進行解碼。顏色圖像與三自由度渲染兼容。深度信息和場景中的剩余點的深度和顏色被編碼在流的單獨軌道中，并且僅在解碼器被配置為解碼該場景以用于體積式渲染的情況下被解碼。

技術領域

本公開涉及體積式(volumetric)視頻內容的領域。本公開也在表示體積式內容的數據的格式化的背景下被理解，例如用于在諸如移動設備或頭戴式顯示器的終端用戶設備上的沉浸式渲染。

背景技術

該部分旨在向讀者介紹本領域的各個方面，這些方面可能與本公開的下面描述和/或要求保護的各個方面相關。該討論被認為有助于向讀者提供背景信息，以便于更好地理解本發明的各個方面。因此，應當理解，要從這個角度來理解這些陳述，而不是將其理解為對現有技術的承認。

沉浸式視頻(也稱為360°平面視頻)允許用戶通過圍繞靜止視點旋轉其頭部來觀看自己周圍的一切。旋轉僅允許3自由度(3DoF)體驗。即使3DoF視頻對于(例如使用頭戴式顯示設備(HMD)的)第一次全向視頻體驗來說是足夠的，對于將期望更多自由(例如通過體驗視差)的觀看者來說，3DoF視頻也可能很快變得令人沮喪。此外，3DoF還可能引起眩暈，因為用戶從不僅僅旋轉其頭部，還會在三個方向上平移(translate)其頭部，這種平移不在3DoF視頻體驗中再現。

體積式視頻(也稱為6自由度(6DoF)視頻)是3DoF視頻的替代方案。當觀看6DoF視頻時，除旋轉外，用戶還可以在觀看的內容內平移其頭部乃至其身體，并體驗視差甚至體積。這種視頻大大增加了沉浸感和對場景深度的感知，并且還通過在頭部平移期間提供一致的視覺反饋來防止眩暈。內容由允許同時記錄感興趣場景的顏色和深度的專用傳感器來創建。使用與攝影測量技術相結合的顏色相機的裝備是執行這種記錄的常見方式。

3DoF視頻包括由紋理圖像的解映射產生的圖像序列(例如，根據緯度/經度投影映射或等矩形投影映射所編碼的球形圖像)，而6DoF視頻幀嵌入來自幾個視點的信息。6DoF視頻幀(也稱為多視圖+深度(MVD)幀)包括從不同的視點和/或視圖方向捕獲的多個圖像。它們也可以被看作從三維捕獲產生的點云的時間序列。根據觀看條件可以考慮兩種體積式視頻。第一種(即，完全6DoF)允許視頻內容內的完全自由導航，而第二種(即，3DoF+)將用戶觀看空間限制在有限的體積內，允許有限的頭部平移和視差體驗。這第二種情況是在自由導航和坐著的觀眾成員的被動觀看條件之間的有價值的權衡。此外，3DoF+視頻比6DoF視頻需要更少的相機和更簡單的裝備。

可以在流中將3DoF視頻編碼為根據選擇的投影映射(例如，立方體投影映射、錐體投影映射或等矩形投影映射)所生成的矩形顏色圖像序列。該編碼具有利用標準圖像和視頻處理標準的優點。可以通過傳統的標準編碼方法來對3DoF+視頻的視圖(顏色圖像+深度圖像)進行編碼。然而，對n個視圖的視頻進行編碼相當于對2n個視頻進行編碼，并且需要大量的數據，使得產生的流不適合于廣播或流傳輸。3DoF+和6Dof視頻需要額外的數據來對點云的有色點的深度進行編碼。在流中編碼場景時，對體積式場景的渲染類型(即，3DoF或體積式渲染)不是先驗已知的。到目前為止，流是針對一種渲染或另一種渲染而編碼的。缺少可以攜帶表示體積式場景的數據的流格式以及相關聯的方法和設備，該數據可以被同時(at once)編碼、并被解碼為3DoF視頻或體積式視頻(3DoF+或6DoF)，并且需要比MVD標準編碼更小的數據量。

發明內容

說明書中對“一個實施例”、“實施例”、“示例實施例”、“特定實施例”的引用表示所描述的實施例可以包括特定的特征、結構、或特性，但是每個實施例不一定包括該特定的特征、結構、或特性。此外，這種短語不一定指同一實施例。此外，當結合實施例描述特定的特征、結構、或特性時，認為無論是否明確描述，結合其他實施例來影響這種特征、結構、或特性在本領域技術人員的知識范圍內。