[發明專利]視頻編碼的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010588984.5
• 申請日: 2020-06-24
• 公開（公告）號: CN112153391B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 崔秉斗;文格爾史蒂芬;劉杉;索達加伊拉吉
• 申請（專利權）人: 騰訊美國有限責任公司
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/593;H04N19/503;H04N19/91;H04N19/186;H04N19/82
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 董晶;王琦

1.一種視頻編碼的方法，其特征在于，所述方法包括：

獲取至少一個視覺三維3D場景的體積數據；

將所述體積數據轉換為點云數據；

將所述點云數據投影到二維2D圖像上；

對投影到所述2D圖像上的所述點云數據進行編碼；以及

組成媒體文件，所述媒體文件封裝了元數據和已編碼的所述點云數據，所述元數據包括：選定的與3D分區對應的觀察位置/角度列表、與選定的觀察位置/角度對應的2D/3D分區的索引，所述元數據指示六自由度6DoF媒體，所述元數據進一步指示六自由度6DoF坐標系上的多個觀察位置，以及所述多個觀察位置處的多個角度，所述多個觀察位置包括前/后、上/下和左/右的不同的觀察位置，所述多個角度包括所述前/后、上/下和左/右的不同的觀察位置處的角度。

2.根據權利要求1所述的視頻編碼的方法，其特征在于，所述對投影到所述2D圖像上的所述點云數據進行編碼，包括：將所述點云數據劃分為至少兩個分區。

3.根據權利要求2所述的視頻編碼的方法，其特征在于，所述對投影到所述2D圖像上的所述點云數據進行編碼，包括：彼此獨立地對所述至少兩個分區進行編碼。

4.根據權利要求3所述的視頻編碼的方法，其特征在于，所述組成媒體文件包括：將已編碼的每個分區添加到所述媒體文件。

5.根據權利要求2所述的視頻編碼的方法，其特征在于，所述元數據進一步指示所述至少兩個分區的布局信息；或者

所述至少兩個分區包括在六自由度6DoF坐標系上的至少兩個3D分區，所述元數據進一步指示所述3D分區在所述六自由度6DoF坐標系上的3D位置。

6.根據權利要求5所述的視頻編碼的方法，其特征在于，所述方法進一步包括：

將所述媒體文件傳輸到云服務器和媒體播放器中的至少一個，以使所述云服務器和媒體播放器中的至少一個，根據所述至少兩個分區的布局信息從所述媒體文件中提取至少一個特定的分區；或者

將所述媒體文件傳輸到云服務器和媒體播放器中的至少一個，以使所述云服務器和媒體播放器中的至少一個，根據所述3D位置從所述媒體文件中提取至少一個特定的3D分區。

7.根據權利要求1所述的視頻編碼的方法，其特征在于，所述元數據包括360度虛擬現實數據。

8.根據權利要求1所述的視頻編碼的方法，其特征在于，已編碼的所述點云數據包括點云重建元數據。

9.一種視頻編碼的裝置，其特征在于，所述裝置包括：

選擇模塊，用于獲取至少一個視覺三維3D場景的體積數據；

轉換模塊，用于將所述體積數據轉換為點云數據；

投影模塊，用于將所述點云數據投影到二維2D圖像上；

編碼模塊，用于對投影到所述2D圖像上的所述點云數據進行編碼；以及

組成模塊，用于組成媒體文件，所述媒體文件封裝了元數據和編碼的所述點云數據，所述元數據包括：選定的與3D分區對應的觀察位置/角度列表、與選定的觀察位置/角度對應的2D/3D分區的索引，所述元數據指示六自由度6DoF媒體，所述元數據進一步指示六自由度6DoF坐標系上的多個觀察位置，以及所述多個觀察位置處的多個角度，所述多個觀察位置包括前/后、上/下和左/右的不同的觀察位置，所述多個角度包括所述前/后、上/下和左/右的不同的觀察位置處的角度。

10.一種非易失性計算機可讀存儲介質，其特征在于，包括：所述存儲介質存儲有多條指令，可以使至少一個處理器執行如權利要求1～8任一項所述的方法。

11.一種電子設備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1～8任一項所述的方法。