[發明專利]混合式流式傳送

有效

• 申請號: 201611273122.3
• 申請日: 2016-12-22
• 公開（公告）號: CN106961591B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: M·布爾克納福德;J·J·蒂弗羅
• 申請（專利權）人: 達索系統公司
• 主分類號: H04N13/122
• 分類號: H04N13/122;H04N13/194;H04N13/275;G06F15/16;G06T15/50
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉瑜;王英

本發明特別地涉及一種用于顯示建模對象的3D組件的計算機實現的方法。該方法包括：從第一計算機向第二計算機流式傳送第一3D建模對象的至少一個光柵圖像，并且通過將第二3D建模對象與所流式傳送的至少一個光柵圖像融合而在第二計算機上渲染建模對象的3D組件。

技術領域

本發明涉及計算機程序和系統領域，并且更具體地涉及用于顯示建模對象的3D組件(3D assembly)的方法、系統和程序。

背景技術

在計算機輔助設計(CAD)、計算機輔助工程(CAE)、計算機輔助制造(CAM)、虛擬世界、在線視頻游戲，以及更一般地在3D在線應用的背景下，三維(3D)環境(也被稱為3D場景)及其內容的顯示-描述部分或完整的3D虛擬環境的各種資產-仍然是挑戰。3D場景包括3D模型，其中每個3D模型是資產并且具有包括多邊形網格、樣條表面、構造的實體幾何圖形等等的通常表示。材料和紋理也可以是3D場景的資產，以及3D模型的動畫、光、場景圖。托管資產的計算機被稱為內容服務器?？梢栽诘诙嬎銠C上顯示從特定視點(也被稱為虛擬相機)觀看的該3D場景的渲染圖像。遠程渲染的該過程典型地用于云游戲、虛擬地球儀、虛擬世界。在其上執行該遠程渲染的第二計算機被稱為客戶端。

通過考慮3D投影和若干照明效果(陰影、反射等)，3D在線應用包括被稱為3D渲染引擎的軟件部件以產生從特定視點觀看的3D場景的一個或多個圖片。為了實現其目標，這樣的3D在線應用必須在給定的時間將3D場景的信息從一個或多個服務器傳送到一個或多個客戶端。

基本上存在兩個用于執行3D場景的遠程渲染的場景。第一個在于將3D內容從服務器直接發送到客戶端，并且該客戶端執行渲染步驟。這將被稱為幾何圖形流。該方法通常描述虛擬世界如何工作。第二場景包括執行渲染步驟并將結果(靜態圖像或視頻流)發送到客戶端的服務器。這將被稱為像素流。該方法通常描述遠程渲染和云游戲如何工作。

幾何圖形流可以使用許多策略來傳輸3D場景的內容。策略的示例是細節的級別的概念：對于每個資產，從可見性計算推導不干擾最終渲染的整體質量的最小質量級別。如果客戶端高速緩存中的資產的版本未達到所需的質量級別，服務器發送細化(通常是所需版本和客戶端高速緩存中的版本之間的差異)。在這樣的策略中涉及的技術的示例是漸進網格、地形位移映射、基于體素的點云、細節的分層級別。

在像素流的情況下，傳送的數據是通常用標準壓縮方案(用于圖像的JPEG/JPEG2000，以及用于視頻的H.264)壓縮的圖片或視頻。存在一些變型方案來跨過多臺計算機分布計算。在3D計算機圖形中，它指的是用于將3D場景投影到虛擬相機的位置的2D矩形。視口(viewport)是用于顯示將被示出的總圖像的一部分的屏幕的區域。應用可以剪切視口，并將渲染每個部分(較小的幀)的責任分配給幾臺計算機。在另一個變型中，應用可以切割3D場景，并將渲染每個部分(較小的資產組)的責任分配給幾臺計算機。

幾何圖形流和像素流不同地處理3D在線應用遇到的問題。它們有它們自己的缺點和它們自己的限制，如現在解釋的。

幾何圖形流和像素流隨著客戶端數量的增加而不同規模。像素流受到嚴重妨礙，因為計算(包括渲染)的大部分是在服務器端進行的。從而，所需服務器的數量隨著客戶端數量而快速增長。難以找到可以從一個客戶端到另一個重復使用的計算結果，因為它們很少共享相同的視點。幾何圖形流可以更好地縮放，因為它在服務器端上需要更少的計算。然而，通過計算機網絡發送幾何圖形消耗網絡的帶寬，并且一般涉及在客戶端計算機上渲染的3D場景上的滯后——對應用較少的反應性。

幾何圖形流和像素流涉及客戶端硬件需求。如上所提及的，像素流在客戶端側僅僅具有小計算成本，而幾何圖形流在客戶端側需要一些3D顯示能力。雖然大多數光設備現在受益于用于3D顯示的硬件加速，但是它們的能力可能相對有限，這可能導致不太逼真的圖片或對應用較小的反應性。