[發明專利]用于流式渲染的實時潛在可見集合

在審

• 申請號: 201780097048.0
• 申請日: 2017-11-02
• 公開（公告）號: CN111373446A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: J·赫拉德基;M·斯坦博格;H-P·塞德爾
• 申請（專利權）人: 馬克斯·普朗克科學促進學會
• 主分類號: G06T15/20
• 分類號: G06T15/20
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 劉前紅

本發明涉及一種用于將3D模型數據從服務器傳輸給客戶端以用于渲染的方法，所述3D模型數據包括多邊形，所述方法包括以下步驟：由所述服務器獲得所述3D模型數據；并且將所述3D模型數據從所述服務器傳輸給所述客戶端。根據本發明，服務器基于給定的大量的可能視圖來獲得所述3D模型數據。

技術領域

本發明涉及用于流式渲染(streaming rendering)的方法和裝置。

背景技術

實時圖形需要日益增長的處理能力。虛擬現實(VR)的最近繁榮已經擴大了這個需求。為了在VR中提供沉浸式體驗，在使用頭戴式顯示器(HMD)時，應用必須為雙眼提供高分辨率的、非常高幀率的高視覺保真。即使是最近的高端圖形處理單元(GPU)也不能滿足這個需求。

盡管系留式HMD系統在連接到高端計算機時支持高質量圖形和響應性，但是流暢的用戶體驗需要用于避免視覺顫抖的方法。異步空間扭曲[http://developer.oculus.com/blog/asynchronous-spacewarp]是這樣的技術：該技術在呈現時間更新當前幀，從而根據最近的頭部移動變換最后的深度和顏色緩沖器，以便掩蔽小的移動并使用戶體驗更流暢。然而，該技術只對旋轉是正確的，如果圖像沒有被明顯過采樣，則遭受質量損失，并且由于平移移動導致的去遮擋引入撕裂偽像。

并發趨勢圍繞使用容易買到的移動裝置(諸如移動電話)直接作為非系留式HDM發展。雖然在HMD上直接計算渲染具有優勢，諸如傳感器數據的可用性，但是移動芯片提供的渲染能力對于高質量內容是不足的。由于散熱約束和有限的蓄電池電源，移動GPU將與臺式GPU達到同等水平是不大可能的。作為補救，非系留式HMD可以(例如，在云或Wi-Fi連接的臺式計算機中)與遠程服務器組合為渲染裝置。然而，Wi-Fi連接使渲染延時增加長達100ms，并且廣域連接使渲染延時增加長達200ms。為了通過移除有線連接來提高移動性并且使游戲系統的成本保持較低，用于降低遠程渲染期間的這種高延時的負面影響的各種方法已經被提出。

獨立于設立強大的服務器并且使用另一裝置(即，客戶端)顯示的確切的場景，前面提出的系統采用類似的構思。在核心方面，它們使用如最近的調查[Shu Shi和Cheng-Hsin Hsu.2015年.A Survey of Interactive Remote Rendering Systems.ACMComput.Surv.47,4,Article 57(2015年5月),29頁.h.ps://doi.org/10.1145/2719921]所概述的基于圖像的渲染技術。服務器將為前一視圖、推測的新視圖或近距離視圖創建的任何數量的圖像遞送給客戶端；客戶端拾取一個或多個視圖，并且根據中間的相機移動來扭曲它們。取決于扭曲技術，所產生的新視圖可以考慮深度信息和去遮擋，并且甚至可以用想象的內容來推測地填滿未被覆蓋的場景區域。

基于圖像的方法總是伴隨有如下缺點：與大深度不連續共存的精細場景結構和高頻信息造成難以克服的問題。雖然在正常渲染期間欠采樣的高頻內容將“僅”導致混疊偽像，但是扭曲技術將明顯使這些問題更糟，因為它們將已經未充分表示的信息重新投影到新的采樣網格上。此外，當傳輸或恢復深度信息時，對象的少量采樣在重新投影之后將導致斷開的部分。類似地，當大深度不連續存在于場景中時，去遮擋后的區域通常將導致清楚可見的偽像。

發明內容

因此本發明的目的是提出實時地提供高質量流式渲染的方法和裝置。

通過根據獨立權利要求的方法和裝置來實現該目的。從屬權利要求中限定了有利的實施例。

根據本發明的一個方面，提出了在客戶端上從3D數據的基于圖像的方法切換到前向渲染技術。代替扭曲來自前一幀的像素，客戶端簡單地渲染多邊形，例如，三角形，很像傳統的渲染系統。

為了減輕客戶端上的渲染負擔，三角形數據在服務器上被預先處理并被描影(shade)，并且只有渲染潛在需要的那些多邊形必須在需要它們之前被遞送給客戶端。