[發明專利]一種輕量級GPU云烘培Web3D實時全局光照渲染管線

在審

• 申請號: 202110138117.6
• 申請日: 2021-02-01
• 公開（公告）號: CN112968950A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 鄭立國;賈金原;邵威;張乾;劉暢
• 申請（專利權）人: 吉林動畫學院;吉林吉動盤古網絡科技股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04N21/44;G06T15/50;G06T15/00
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 朱學繪

本發明公開了一種輕量級GPU云烘培Web3D實時全局光照渲染管線，用于增強Web3D照明效果，提升用戶感官體驗。本渲染管線由負責全局光照的云端渲染系統和負責直接光照的前端系統構成，云端與前端使用WebSocket與WebRTC通訊，其特征在于，包括以下步驟：1)云端場景屬性與前端同步；2)云端網絡通訊延遲補償；3)云端使用實時全局光照算法計算屏幕空間全局光照貼圖；4)云端光照貼圖增量式更新；5)光照貼圖編解碼、流式傳輸；6)前端直接光照渲染，利用光照貼圖進行實時全局光照渲染。與現有技術相比，本發明具有傳輸量小以及最終Web3D畫面偽像少、效果好等特點。

技術領域

本發明涉及云計算、協作式渲染領域，特別是涉及實時全局光照協作式渲染管線。

背景技術

真實感渲染需要牽涉到大量的基于物理的計算。隨著GPU硬件的不斷發展，目前高端PC平臺已經可以流暢的渲染次世代、強真實感3D場景。然而對于較低配置的平臺(如移動設備、頭戴式顯示器)，或者由于起步較晚尚無法利用最新GPU技術的Web平臺，沒有足夠的能力進行此類復雜計算。如目前WebGL進度仍無法趕超OpenGL或DirectX，一些新的GPU特性，如通用計算GPGPU、幾何著色器以及曲面細分等無法在Web3D應用中利用，極大的阻礙了Web3D場景渲染往更真實、更高效的階段邁進。對于該問題，首先想到的是將所有渲染和交互計算放置云端的云計算、云游戲方案，有關該方法的理論和產品也大量涌現。

然而，大部分3D應用、電子游戲都是軟實時系統。這意味著，此類系統對延時非常敏感。網絡波動會非常明顯地體現在應用畫面上，或延遲數秒才反饋用戶交互或降低畫面分辨率，影響用戶地體驗。而且，云游戲方案大部分都是基于視頻流式傳輸畫面，客戶端設備僅進行視頻解碼、服務器網絡通訊等簡單操作中，沒有完全利用客戶端地運算性能。

發明內容

面對以上問題，本發明公開一種輕量級GPU云烘培Web3D實時全局光照渲染管線，前端充分利用有限的運算性能完成輕量級的場景直接光照計算，以及用戶交互邏輯相應，復雜的全局光照數據由云端計算、流式傳輸而得，保證用戶的流暢體驗的同時增強了畫面表現力。

為實現上述目的，本發明提供了如下方案：

一種輕量級GPU云烘培Web3D實時全局光照渲染管線，應用于全局光照協作式渲染系統，所述渲染系統由負責全局光照的云端和負責直接光照的前端構成，所述云端與前端之間通過WebSocket與WebRTC通信連接，所述渲染管線的實現方法包括以下步驟：

S1，保持云端場景屬性與前端同步，同時前端與相同場景的其余前端點對點連接；

S2，云端基于GPU加速Lightmap烘培，對全局光照進行處理，具體包括：

S201，基于動態預測的方法，得到擴大的FOV數值，實現網絡通訊延遲補償；

S202，使用實時全局光照算法計算屏幕空間全局光照貼圖；

S203，通過UV映射方式，結合插值后處理，增量式更新光照帖圖；

S204，將光照貼圖編碼后使用WebRTC技術流式傳輸至前端；

S3，前端直接光照渲染，利用光照貼圖進行實時全局光照渲染。

進一步的，所述的步驟S1中，保持云端場景屬性與前端同步，同時前端與相同場景的其余前端點對點連接，具體包括：

統一云端與前端的場景模型，包括命名統一、層級關系統一、單位統一、格式統一、方向統一、模型UV通道數量及數據統一；

云端與前端之間，建立WebSocket、WebRTC連接，云端將已建立連接的相同場景的其他前端列表傳輸至指定的前端；

指定的前端與相同場景的其他前端之間通過WebRTC建立點對點連接；