[發明專利]在數據流中編碼及解碼來自數據流的三維場景的方法和裝置

有效

• 申請號: 201980014202.2
• 申請日: 2019-01-04
• 公開（公告）號: CN111742548B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: J.弗勒羅;R.多爾;T.塔皮
• 申請（專利權）人: 交互數字VC控股公司
• 主分類號: H04N13/161
• 分類號: H04N13/161;H04N13/178;H04N13/268;H04N19/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 于小寧

提供用于編碼和解碼承載表示三維場景的數據的數據流的方法和設備，該數據流包括打包在色彩圖像中的色彩畫面；打包在深度圖像中的深度畫面；以及包括去投影數據的一組補片數據項；用于在色彩圖像取回色彩畫面的數據和幾何數據。兩種類型的幾何數據是可能的。第一種類型的數據描述如何在深度圖像中取回深度畫面。第二種類型的數據包括3D網格的標識符。該網格的頂點坐標和各個面用于取回去投影的場景中各個點的位置。

技術領域

本原理一般涉及在數據流中編碼以及解碼來自數據流的三維場景或三維場景的序列的編碼和解碼。具體地，但不排他地，本原理的技術領域涉及對場景的紋理的色彩圖像和深度圖像或者場景的幾何形狀的3D網格的編碼/解碼。

背景技術

本部分旨在向讀者介紹本領域的各個方面，其可能與以下描述和/或要求保護的本原理的各個方面有關。認為該討論有助于向讀者提供背景信息，以有助于更好地理解本原理的各個方面。因此，應該理解的是，要鑒于此地閱讀這些陳述，而不作為對現有技術的承認。

沉浸式視頻(也稱為360°平面視頻)允許用戶通過圍繞靜止視點的頭部旋轉來觀看自己周圍的一切。旋轉僅允許3自由度(3DoF)體驗。即使3DoF視頻足以用于首次全向視頻體驗(例如使用頭戴式顯示設備(HMD))，對于將期望更大自由度的觀看者來說，例如通過體驗視差，3DoF視頻也可能很快變得令人沮喪。另外，3DoF也可能引起頭暈，因為用戶絕不是僅僅旋轉其頭部，而是還在三個方向上平移頭部，平移在3DoF視頻體驗中不被再現。

體積式視頻(也稱為6自由度(6DoF)視頻)是3DoF視頻的替代。當觀看6DoF視頻時，除了旋轉之外，用戶還可以在觀看的內容內平移其頭部以及甚至身體，并體驗視差以及甚至體積。這樣的視頻極大地增加沉浸的感覺和場景深度的感知，并且也通過在頭部平移期間提供一致的視覺反饋而防止頭暈。內容通過專用傳感器創建，允許同時記錄感興趣場景的色彩和深度。結合攝影機技術使用的一套色彩相機是進行這種記錄的一種常用方式。

體積式視頻是3D場景的序列。編碼體積式視頻的一種解決方案是將3D場景的序列中的每個3D場景投影到被聚類為色彩畫面和深度畫面(稱為補片)的投影圖上。補片以存儲在視頻流的視頻軌道中的色彩圖像和深度圖像打包。這種編碼具有使用標準的圖像和視頻處理標準的優點。在解碼時，色彩圖像的像素以由存儲在相關聯的深度畫面中的信息確定的深度被去投影。這樣的解決方案是有效的。然而，將這種大量數據編碼為視頻流的視頻軌道中的圖像產生問題。比特流的大小引起有關存儲空間，網絡傳輸和解碼性能的比特率技術問題。

發明內容

以下提出本原理的簡要概述，以便提供對本原理的一些方面的基本理解。本概述不是對本原理的廣泛綜述。不意圖標識本原理的關鍵或重要要素。以下概述僅以簡化形式提出本原理的一些方面，作為下面提供的更詳細描述的序言。

本原理涉及一種在流中編碼3D場景的方法。本公開涉及一種在流中編碼三維場景的方法。該方法包括：

-獲得一組補片，補片包括：

·去投影數據；

·色彩圖像；和

·第一種幾何類型的幾何數據包括深度畫面；或第二種幾何類型的幾何數據包括被表示為網格的三維對象的標識符；

-通過打包所述補片的色彩畫面并將色彩數據存儲在對應的補片中來生成色彩圖像，色彩數據包括打包在色彩圖像中的所述補片的色彩畫面的位置的描述；

-通過打包具有第一種幾何類型的幾何數據的補片的深度畫面并通過深度圖像中打包的所述補片的深度畫面的位置的描述來替換對應補片的幾何數據中的深度畫面來生成深度圖像；

-在流中編碼：

·生成的色彩圖像；

·生成的深度圖像；