[發明專利]交互式渲染方法、設備和系統

在審

• 申請號: 201611178454.3
• 申請日: 2016-12-19
• 公開（公告）號: CN108235053A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 陸音
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06T15/50
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 趙倩男

本發明公開了一種交互式渲染方法、裝置和系統，涉及人機交互領域。其中的方法包括：云端設備接收終端發送的應用信息；云端設備根據應用信息重構場景圖像，并對場景圖像進行全局光照計算；云端設備將場景圖像的全局光照結果發送至終端，以便終端將基于場景表面屬性的局部光照計算結果與全局光照結果進行合成。本發明能夠有效避免了性能受限終端面向VR、MR等3D交互式應用場景的處理能力不足問題。

技術領域

本發明涉及人機交互領域，尤其涉及一種交互式渲染方法、裝置和系統。

背景技術

隨著終端與4G等網絡能力的快速發展，云+端相結合的3D交互式應用及其后端的行業云解決方案成為繼視頻之后的高帶寬應用熱點。如虛擬營業廳、立體導航、VR(VirtualReality，虛擬現實)/AR (Augmented Reality，增強現實)生活服務、3D會展導覽、移動在線游戲等交互式應用快速涌現，在不斷帶來全新沉浸式體驗的同時，也對當前的網絡、終端乃至軟件等綜合解決方案提出了更高要求。

一方面，VR/AR/MR等虛擬現實新技術的快速發展與應用，從客觀上較大提升了對軟件渲染技術及交互式畫面品質的要求；其所涉及的復雜3D場景、實時全局/間接光照(Real-time Global Illumination， RTGI)等下一代高質量3D渲染技術對計算設備處理能力要求極高，移動端因處理能力、存儲能力及能耗受限，無法應用上述技術，從而限制了其在當前熱點領域的應用及效果呈現。

另一方面，全局光照等新一代高質量實時渲染技術需要更為強大的計算與存儲能力，在目前性能、能耗及配置、成本受限的終端上幾乎無法高效實現，以云服務的方式來提供類似視覺體驗是目前最具現實意義的解決方案。然而為了能夠提供此類云服務，目前依然存在著若干關鍵問題需要解決：

1)需要在盡可能保障高質量渲染效果的同時，盡可能減少其所需的計算存儲需求；這二者目標往往是矛盾的，但必須盡可能權衡與兼顧。

2)需要提供更靈活、更優化的光照方案，實現對真實全局照明的快速近似計算，從而實現畫面渲染整體效率的提升。

3)需要考慮云端-終端側計算任務的合理分配與有效協同，進而實現基于終端的3D交互式應用。

發明內容

本發明要解決的一個技術問題是提供一種交互式渲染方法、裝置和系統解決了由于性能受限終端面向3D交互式應用場景的處理能力不足問題。

根據本發明一方面，提出一種交互式渲染方法，包括：云端設備接收終端發送的應用信息；云端設備根據應用信息重構場景圖像，并對場景圖像進行全局光照計算；云端設備將場景圖像的全局光照結果發送至終端，以便終端將基于場景表面屬性的局部光照計算結果與全局光照結果進行合成。

進一步地，云端設備對場景圖像進行全局光照計算包括：云端設備判斷場景圖像是否已體素化；若場景圖像已體素化，則進行全局光照計算；否則，對場景圖像進行體素化處理。

進一步地，云端設備對場景圖像進行體素化處理包括：云端設備基于球諧波對場景圖像進行體素化描述；對當前體素場景圖像進行基于球諧波的體素方向性預濾波。

進一步地，云端設備進行全局光照計算包括：云端設備對進行體素方向性預濾波的體素場景圖像進行體素錐光線跟蹤；將光線跟蹤結果進行多次體素方向性預濾波后，將原分辨率的體素場景圖像縮小為 N個小分辨率子圖像；基于小分辨率圖像進行體素錐光線跟蹤，得到多幀小分辨率全局光照結果。

進一步地，還包括：云端設備將多幀小分辨率全局光照結果進行視頻壓縮編碼，并封裝成視頻碼流；在視頻碼流中添加視頻同步信息后發送至終端。