[發明專利]用于生成壓縮圖像的方法、系統和介質

在審

• 申請號: 202010959566.2
• 申請日: 2020-09-14
• 公開（公告）號: CN112055213A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 瑞安·奧弗貝克
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N19/182
• 分類號: H04N19/182;H04N19/184;H04N19/62;H04N19/85
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

提供了用于生成壓縮圖像的方法、系統和介質。在一些實施例中，該方法包括：識別表示三維圖像的多平面圖像(MPI)；將MPI劃分為多個子體積；針對MPI的每個子體積計算深度圖；將每個深度圖轉換為網格，其中，每個網格對應于與要被渲染的多深度圖像(MDI)相關聯的多個層中的一層；針對多個層中的每一層，計算指示在層中包括的每個體素的顏色和透射率的圖像；將與MDI的多個層相對應的網格以及與MDI的多個層相對應的圖像存儲為MDI；以及響應于從用戶設備接收到對三維圖像的請求，將MDI發送到用戶設備，其中，用戶設備被配置為通過針對MDI的每一層映射與層相對應的圖像作為與層相對應的網格上的紋理來渲染MDI。

技術領域

所公開的主題涉及用于生成壓縮圖像的方法、系統和介質。更具體地，所公開的主題涉及生成多深度圖像或多平面圖像的壓縮表示。

背景技術

隨著虛擬現實內容和其他三維或沉浸式內容的激增，用戶對下載、流傳輸和查看渲染起來相對較耗資源的內容越來越感興趣。例如，三維視頻或圖像可以作為相對較大的文件存儲在服務器上。但是，這些大文件可能很難存儲或存儲起來很繁瑣。另外，在某些情況下，三維內容可以存儲為包括多個層的文件，然后將這些層層疊或合成以形成三維內容。這樣的內容要在用戶設備上渲染是很耗資源的。

因此，期望提供用于生成壓縮圖像的新方法、系統和介質。

發明內容

提供了用于生成壓縮圖像的方法、系統和介質。

根據所公開的主題的一些實施例，提供了一種用于生成壓縮圖像的方法，該方法包括：識別表示三維圖像的多平面圖像(MPI)，其中MPI包括多個正面平行平面，每個正面平行平面均與指示正面平行平面中的每個像素的顏色和透射率的圖像相關聯；將MPI劃分為多個子體積，其中，所述多個子體積中的每個子體積包括所述多個正面平行平面的子集；針對MPI的每個子體積計算深度圖；將每個深度圖轉換為網格，其中，每個網格對應于與要被渲染的多深度圖像(MDI)相關聯的多個層中的一層，其中，每個深度圖指示在MDI的對應層中包括的MDI的每個體素的位置和深度，并且其中，與MDI相關聯的所述多個層中的層數小于在與MPI相關聯的所述多個正面平行平面中包括的正面平行平面的數量；針對所述多個層中的每一層，計算指示在該層中包括的每個體素的顏色和透射率的圖像；將與MDI的所述多個層相對應的網格以及與MDI的所述多個層相對應的圖像存儲為MDI；以及響應于從用戶設備接收到對三維圖像的請求，將MDI發送到用戶設備，其中，用戶設備被配置為通過針對MDI的每一層映射與該層相對應的圖像作為與該層相對應的網格上的紋理來渲染MDI。

在一些實施例中，該方法還包括：生成與MPI圖像序列相對應的MDI圖像序列，其中，MPI圖像序列與三維視頻內容相對應。

在一些實施例中，將MPI劃分為多個子體積包括：通過最小化使用所述多個子體積渲染MDI而生成的渲染誤差來優化生成所述多個子體積的多個切割。

在一些實施例中，渲染誤差包括一元項，該一元項指示由于使用所述多個切割中的一個切割來渲染MDI而產生的深度誤差。

在一些實施例中，渲染誤差包括平滑度項，該平滑度項指示所述多個切割中跨多個體素的一個切割的平滑度，所述多個體素包括在與所述一個切割相對應的子體積中。

在一些實施例中，將MPI劃分成多個子體積包括：使用經訓練的神經網絡來識別生成所述多個子體積的多個切割。

在一些實施例中，與MDI的每一層相對應的每個網格是三角形網格。