[發(fā)明專(zhuān)利]用于生成壓縮圖像的方法、系統(tǒng)和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010959566.2
• 申請(qǐng)日: 2020-09-14
• 公開(kāi)（公告）號(hào): CN112055213A
• 公開(kāi)（公告）日: 2020-12-08
• 發(fā)明（設(shè)計(jì)）人: 瑞安·奧弗貝克
• 申請(qǐng)（專(zhuān)利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類(lèi)號(hào): H04N19/182
• 分類(lèi)號(hào): H04N19/182;H04N19/184;H04N19/62;H04N19/85
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種用于生成壓縮圖像的方法，所述方法包括：

識(shí)別表示三維圖像的多平面圖像(MPI)，其中，所述MPI包括多個(gè)正面平行平面，每個(gè)正面平行平面均與指示所述多個(gè)正面平行平面中的每個(gè)像素的顏色和透射率的圖像相關(guān)聯(lián)；

將所述MPI劃分為多個(gè)子體積，其中，所述多個(gè)子體積中的每個(gè)子體積包括所述多個(gè)正面平行平面的子集；

針對(duì)所述MPI的每個(gè)子體積計(jì)算深度圖；

將每個(gè)深度圖轉(zhuǎn)換為網(wǎng)格，其中，每個(gè)網(wǎng)格對(duì)應(yīng)于與要被渲染的多深度圖像(MDI)相關(guān)聯(lián)的多個(gè)層中的一層，其中，每個(gè)深度圖指示在所述MDI的對(duì)應(yīng)層中包括的所述MDI的每個(gè)體素的位置和深度，并且其中，與所述MDI相關(guān)聯(lián)的所述多個(gè)層中的層數(shù)小于在與所述MPI相關(guān)聯(lián)的所述多個(gè)正面平行平面中包括的正面平行平面的數(shù)量；

針對(duì)所述多個(gè)層中的每一層，計(jì)算指示在所述層中包括的每個(gè)體素的顏色和透射率的圖像；

將與所述MDI的所述多個(gè)層相對(duì)應(yīng)的所述網(wǎng)格以及與所述MDI的所述多個(gè)層相對(duì)應(yīng)的所述圖像存儲(chǔ)為所述MDI；以及

響應(yīng)于從用戶設(shè)備接收到對(duì)所述三維圖像的請(qǐng)求，將所述MDI發(fā)送到所述用戶設(shè)備，其中，所述用戶設(shè)備被配置為通過(guò)針對(duì)所述MDI的每一層映射與所述層相對(duì)應(yīng)的所述圖像作為與所述層相對(duì)應(yīng)的所述網(wǎng)格上的紋理來(lái)渲染所述MDI。

2.根據(jù)權(quán)利要求1所述的方法，還包括：生成與MPI圖像序列相對(duì)應(yīng)的MDI圖像序列，其中，所述MPI圖像序列與三維視頻內(nèi)容相對(duì)應(yīng)。

3.根據(jù)權(quán)利要求1所述的方法，其中，將所述MPI劃分為所述多個(gè)子體積包括：通過(guò)最小化使用所述多個(gè)子體積渲染所述MDI而生成的渲染誤差來(lái)優(yōu)化生成所述多個(gè)子體積的多個(gè)切割。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述渲染誤差包括一元項(xiàng)，所述一元項(xiàng)指示由于使用所述多個(gè)切割中的一個(gè)切割來(lái)渲染所述MDI而產(chǎn)生的深度誤差。

5.根據(jù)權(quán)利要求3所述的方法，其中，所述渲染誤差包括平滑度項(xiàng)，所述平滑度項(xiàng)指示所述多個(gè)切割中跨多個(gè)體素的一個(gè)切割的平滑度，所述多個(gè)體素包括在與所述一個(gè)切割相對(duì)應(yīng)的子體積中。

6.根據(jù)權(quán)利要求1所述的方法，其中，將所述MPI劃分成所述多個(gè)子體積包括：使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別生成所述多個(gè)子體積的多個(gè)切割。

7.根據(jù)權(quán)利要求1所述的方法，其中，與所述MDI的每一層相對(duì)應(yīng)的每個(gè)網(wǎng)格是三角形網(wǎng)格。

8.一種用于生成壓縮圖像的系統(tǒng)，所述系統(tǒng)包括：

硬件處理器，所述硬件處理器被配置為：

識(shí)別表示三維圖像的多平面圖像(MPI)，其中，所述MPI包括多個(gè)正面平行平面，每個(gè)正面平行平面均與指示所述多個(gè)正面平行平面中的每個(gè)像素的顏色和透射率的圖像相關(guān)聯(lián)；

將所述MPI劃分為多個(gè)子體積，其中，所述多個(gè)子體積中的每個(gè)子體積包括所述多個(gè)正面平行平面的子集；

針對(duì)所述MPI的每個(gè)子體積計(jì)算深度圖；

將每個(gè)深度圖轉(zhuǎn)換為網(wǎng)格，其中，每個(gè)網(wǎng)格對(duì)應(yīng)于與要被渲染的多深度圖像(MDI)相關(guān)聯(lián)的多個(gè)層中的一層，其中，每個(gè)深度圖指示在所述MDI的對(duì)應(yīng)層中包括的所述MDI的每個(gè)體素的位置和深度，并且其中，與所述MDI相關(guān)聯(lián)的所述多個(gè)層中的層數(shù)小于在與所述MPI相關(guān)聯(lián)的所述多個(gè)正面平行平面中包括的正面平行平面的數(shù)量；

針對(duì)所述多個(gè)層中的每一層，計(jì)算指示在所述層中包括的每個(gè)體素的顏色和透射率的圖像；

將與所述MDI的所述多個(gè)層相對(duì)應(yīng)的所述網(wǎng)格以及與所述MDI的所述多個(gè)層相對(duì)應(yīng)的所述圖像存儲(chǔ)為所述MDI；以及

響應(yīng)于從用戶設(shè)備接收到對(duì)所述三維圖像的請(qǐng)求，將所述MDI發(fā)送到所述用戶設(shè)備，其中，所述用戶設(shè)備被配置為通過(guò)針對(duì)所述MDI的每一層映射與所述層相對(duì)應(yīng)的所述圖像作為與所述層相對(duì)應(yīng)的所述網(wǎng)格上的紋理來(lái)渲染所述MDI。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，所述硬件處理器還被配置為：生成與MPI圖像序列相對(duì)應(yīng)的MDI圖像序列，其中，所述MPI圖像序列與三維視頻內(nèi)容相對(duì)應(yīng)。