[發(fā)明專利]在數(shù)據(jù)流中編碼及解碼來自數(shù)據(jù)流的三維場(chǎng)景的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201980014202.2
• 申請(qǐng)日: 2019-01-04
• 公開（公告）號(hào): CN111742548B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: J.弗勒羅;R.多爾;T.塔皮
• 申請(qǐng)（專利權(quán)）人: 交互數(shù)字VC控股公司
• 主分類號(hào): H04N13/161
• 分類號(hào): H04N13/161;H04N13/178;H04N13/268;H04N19/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 于小寧

1.一種從數(shù)據(jù)流中解碼三維場(chǎng)景的方法，該方法包括：

-從所述數(shù)據(jù)流中獲得：

·打包在色彩圖像中的色彩畫面；

·打包在深度圖像中的深度畫面；和

·元數(shù)據(jù)，對(duì)于所述色彩圖像的每個(gè)色彩畫面，所述元數(shù)據(jù)包括：

-去投影數(shù)據(jù)；

-色彩數(shù)據(jù)，包括色彩畫面在色彩圖像中的位置的描述；和

-屬于類型組的類型的幾何數(shù)據(jù)，包括：第一種幾何類型，包括深度畫面在深度圖像中的位置的描述；和第二種幾何類型，包括被表示為三維網(wǎng)格的三維對(duì)象的標(biāo)識(shí)符；

-對(duì)于所述色彩圖像的色彩畫面：

·在幾何數(shù)據(jù)是第一種幾何類型的情況下，根據(jù)由幾何數(shù)據(jù)描述的深度畫面的像素確定出的深度值，使用去投影數(shù)據(jù)去投影由色彩數(shù)據(jù)描述的色彩畫面的像素的顏色；

·在幾何數(shù)據(jù)是第二種幾何類型的情況下，根據(jù)三維網(wǎng)格的頂點(diǎn)和面確定出的深度值，使用去投影數(shù)據(jù)去投影由色彩數(shù)據(jù)描述的色彩畫面的像素的顏色。

2.根據(jù)權(quán)利要求1所述的方法，其中，從流中獲得第二種類型的幾何數(shù)據(jù)的幾何數(shù)據(jù)中識(shí)別的三維網(wǎng)格的頂點(diǎn)和面。

3.根據(jù)權(quán)利要求1所述的方法，色彩數(shù)據(jù)還包括色彩圖像中的色彩畫面的大小和/或形狀的描述。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述流包括色彩圖像、深度圖像和相關(guān)聯(lián)的元數(shù)據(jù)的序列，深度圖像和有關(guān)元數(shù)據(jù)與色彩圖像相關(guān)聯(lián)；色彩圖像由時(shí)間信息進(jìn)行結(jié)構(gòu)化。

5.一種用于在數(shù)據(jù)流中編碼三維場(chǎng)景的方法，該方法包括：

-獲得一組補(bǔ)片，所述一組補(bǔ)片包括：

·去投影數(shù)據(jù)；

·色彩畫面；和

·包括深度畫面的第一種幾何類型的幾何數(shù)據(jù)，和包括被表示為三維網(wǎng)格的三維對(duì)象的標(biāo)識(shí)符的第二種幾何類型的幾何數(shù)據(jù)；

-通過打包所述補(bǔ)片的色彩畫面和色彩數(shù)據(jù)生成色彩圖像，色彩數(shù)據(jù)包括打包在色彩圖像中的色彩畫面的位置的描述；

-通過打包具有第一種幾何類型的幾何數(shù)據(jù)的補(bǔ)片的深度畫面并通過深度圖像中打包的深度畫面的位置的描述來替換對(duì)應(yīng)補(bǔ)片的幾何數(shù)據(jù)中的深度畫面來生成深度圖像；

-在流中編碼：

·生成的色彩圖像；

·生成的深度圖像；

·元數(shù)據(jù)，其包括每個(gè)補(bǔ)片的幾何數(shù)據(jù)、色彩數(shù)據(jù)和去投影數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其中，在流的單獨(dú)的語法元素中進(jìn)一步編碼第二種類型的幾何數(shù)據(jù)的幾何數(shù)據(jù)中識(shí)別的三維網(wǎng)格的頂點(diǎn)和面。

7.根據(jù)權(quán)利要求5所述的方法，其中，色彩數(shù)據(jù)還包括色彩圖像中的色彩畫面的大小和/或形狀的描述。

8.根據(jù)權(quán)利要求5所述的方法，其中，所述流包括色彩圖像、深度圖像和相關(guān)聯(lián)的元數(shù)據(jù)的序列，深度圖像和有關(guān)元數(shù)據(jù)與色彩圖像相關(guān)聯(lián)；色彩圖像由時(shí)間信息進(jìn)行結(jié)構(gòu)化。

9.一種用于從數(shù)據(jù)流中解碼三維場(chǎng)景的設(shè)備，該設(shè)備包括與處理器相關(guān)聯(lián)的存儲(chǔ)器，該處理器被配置為：

-從所述數(shù)據(jù)流中獲得：

·打包在色彩圖像中的色彩畫面；

·打包在深度圖像中的深度畫面；和

·元數(shù)據(jù)，對(duì)于所述色彩圖像的每個(gè)色彩畫面，所述元數(shù)據(jù)包括：

-去投影數(shù)據(jù)；

-色彩數(shù)據(jù)，包括色彩畫面在色彩圖像中的位置的描述；和

-屬于類型組的類型的幾何數(shù)據(jù)，包括：第一種幾何類型，包括深度畫面在深度圖像中的位置的描述；和第二種幾何類型，包括被表示為三維網(wǎng)格的三維對(duì)象的標(biāo)識(shí)符；

-對(duì)于所述色彩圖像的色彩畫面：

·在幾何數(shù)據(jù)是第一種幾何類型的情況下，根據(jù)由幾何數(shù)據(jù)描述的深度畫面的像素確定出的深度值，使用去投影數(shù)據(jù)去投影由色彩數(shù)據(jù)描述的色彩畫面的像素的顏色；

·在幾何數(shù)據(jù)是第二種幾何類型的情況下，根據(jù)三維網(wǎng)格的頂點(diǎn)和面確定出的深度值，使用去投影數(shù)據(jù)去投影由色彩數(shù)據(jù)描述的色彩畫面的像素的顏色。