[發明專利]基于注視點信息的實時VR圖像過濾方法、系統和存儲介質

在審

• 申請號: 201910236464.5
• 申請日: 2019-03-27
• 公開（公告）號: CN111757090A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 周鵬;冀德
• 申請（專利權）人: 北京傳送科技有限公司
• 主分類號: H04N13/383
• 分類號: H04N13/383;H04N13/332;H04N13/106
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

本發明涉及基于注視點信息的實時VR圖像過濾方法、系統和存儲介質，包括：通過頭戴顯示設備中高速相機捕捉人眼圖像，從該人眼圖像中提取眼球的注視點信息；根據該頭戴顯示設備的頭部方位信息確定觀察視角，并渲染出該觀察視角觀看到的VR畫面；根據該注視點信息確定該VR畫面的注視點區域，根據該注視點區域選定該VR畫面的非注視點區域，并對該非注視點區域進行過濾。本發明可提高圖像壓縮比，并可在傳統VR流程基礎上對圖像壓縮比進行深度提升，進一步降低VR對傳輸帶寬的需求。本發明還公開了一種用于所述基于注視點信息的實時VR圖像過濾系統的實施方法，以及存儲介質，用于存儲執行所述基于注視點信息的實時VR圖像過濾方法的程序。

技術領域

本發明涉及虛擬現實VR和圖像壓縮領域，并特別涉及一種基于注視點信息的實時VR圖像過濾方法、系統和存儲介質。

背景技術

以往的VR系統包括四部分：1)VR渲染系統、2)數據傳輸系統、3)顯示系統、4)運動反饋系統。VR渲染系統負責生成用于雙眼視覺的左右眼圖像。數據傳輸系統負責提供高速數據通道，將圖像傳遞給顯示系統。3)顯示系統負責以較高的刷新率將畫面更新到顯示設備。顯示設備提供獨立的雙眼視覺通道，讓使用者可以體驗到立體視覺。4)運動反饋系統負責捕捉使用者的運動數據，并將數據反饋到VR渲染系統，使渲染視角隨著用戶運動而改變。

以往的VR系統工作流程是：

1)VR渲染系統通過圖形API，例如OpenGL或Direct3D將三維場景數據和渲染參數傳遞給顯卡上的圖形流水線，并渲染出的圖像保存到顯存中。渲染過程所使用的攝像機參數來自于VR頭盔的運動反饋系統。因為是面向雙目視覺，所以渲染系統交替的進行左右眼兩幅圖像的渲染。圖像在渲染完成后還需進行透鏡校正，通常是桶形校正(barreldistortion)。這是因為圖像最終需要透過顯示系統的透鏡才能被觀察到，而透鏡會使平面圖像出現枕形畸變(pincushion distortion)。由于枕形畸變和桶形畸變互為反函數，為了抵消枕形畸變的效果，就必須提前使圖像發生桶形畸變。

2)數據傳輸系統獲取圖像的顯存地址，然后將顯存中的數據取出并通過高速通道傳遞給顯示設備。在這個階段，數據可以是經過壓縮，也可以是未經壓縮的。對于未經壓縮的數據，通常使用HDMI或DisplayPort通道進行傳輸。對于經過壓縮的數據，通常使用無線或有限網絡進行傳輸，并要求顯示系統具備解壓縮能力。

3)顯示系統包含透鏡系統和具備較高刷新率的顯示屏。透鏡系統使用兩個組獨立的凸透鏡將顯示屏的內容放大并分別傳遞給使用的左眼和右眼。顯示屏將左右眼圖像的內容拼接在一起，顯示在同一屏幕上。透鏡系統會將雙眼的透鏡聚焦到相應的屏幕位置上。為了滿足VR對刷新率的要求，顯示屏通常需要具備每秒鐘至少刷新90次的能力。對于經過壓縮的圖像，顯示系統還需在進行上述工作之前完成圖像解壓縮。解壓縮過程通常由板載解碼芯片完成，其過程通常不超過5毫秒。

4)運動反饋系統主要感知使用者的頭部轉動和位移以及眼球的注視方向，它通常與顯示系統位于同一裝置中。為了降低運動到顯示的延遲(motion to photon latency)，感知設備通常以較高的頻率采樣運動數據，例如每秒120次。采樣到的運動數據使用單獨的通道與VR渲染系統通信，通常是USB或網絡，與圖像通道相互獨立。渲染系統會根據頭部和眼球數據更新圖形流水線的相機參數以及可見的三維對象集合，形成控制閉環。

以往技術的眼球注視信息只用于指導渲染過程進行多分辨率渲染(multipleresolution rendering)，即將一幅畫面分割成多個區域，并在不同區域使用不同分辨率進行渲染。區域的劃分以注視點為依據：注視點所在的區域使用最高分辨率；非注視點區域使用低分辨率。這就使低分辨率區域的著色(shading)計算量顯著減少，從而增加了渲染速度。然而，多分辨率渲染存在兩個問題：

1)它必須明確的作為VR渲染流水線的一個階段，需要與VR應用程序在架構級別進行綁定。因此，未曾實現多分辨率渲染的VR應用程序，將無法在不修改架構的前提下追加此功能。