[發(fā)明專利]一種面向VR視頻的視角切換方法、裝置、設備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211037966.3
• 申請日: 2022-08-26
• 公開（公告）號: CN115942049A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 張啟;魏建超;姜波
• 申請（專利權(quán)）人: 北京博雅睿視科技有限公司
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/44;G06F3/01
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 谷波

本申請?zhí)峁┮环N面向VR視頻的視角切換方法、裝置、電子設備及存儲介質(zhì)。其中方法包括：確定VR視頻設備對應的第一視角采樣頻率，所述視角采樣頻率大于每秒一次；在同一個時間切片中，按照所述第一視角采樣頻率實時檢測用戶視角是否發(fā)生切換；當檢測到所述用戶視角發(fā)生切換時，獲取切換后用戶視角對應的視圖矩形塊。由于現(xiàn)有技術(shù)中超過每秒一次的視角采樣是毫無意義的，使得VR視頻的視角切換延時無法進一步降低，本申請通過改進突破了每秒一次的視角采樣的限制，實時地下載拼接視角區(qū)域畫面所需的視圖矩形塊，降低了VR視頻的視角切換延時，提高了用戶體驗。

技術(shù)領域

本申請涉及視頻處理技術(shù)領域，具體涉及一種面向VR視頻的視角切換方法、裝置、電子設備及存儲介質(zhì)。

背景技術(shù)

隨著虛擬現(xiàn)實(VR)、5G、移動終端等技術(shù)的不斷發(fā)展，VR視頻應用呈現(xiàn)了爆發(fā)式增長。VR視頻往往擁有超高的分辨率(例如8K，7680*3840)和幀率(例如每秒60幀)，因此數(shù)據(jù)量極其龐大，對用戶帶寬、計算效率和最終體驗等方面都提出了前所未有的挑戰(zhàn)。基于視角的VR系統(tǒng)是應對這些挑戰(zhàn)的一種良好方案，基本思路是僅傳輸和處理用戶當前觀看視角的視頻畫面區(qū)域。而其中基于Tile編碼的方案是最流行的方案之一，目前VR視頻國際標準MPEG?OMAF正是采用了這種方案，但現(xiàn)有的大多數(shù)視角VR系統(tǒng)并未適配?OMAF標準，在通用性和部署性上存在欠缺。全向媒體格式(Omnidirectional?MediA?Format，OMAF)是由運動圖像專家組(Moving?Picture?Expert?Group，?MPEG)所打造的360度媒體內(nèi)容標準。

在基于視角的VR系統(tǒng)中，當用戶移動視角時，需要等待新視角畫面數(shù)據(jù)的下載、解碼和渲染，存在一定延時。如果系統(tǒng)沒有對視角切換所涉及的模塊進行優(yōu)化，就會導致過高的延時，輕則帶來不好的用戶體驗，重則引發(fā)生理上的不適。在OMAF標準中，盡管將視角切換延時作為了一種重要的評估對象，但標準本身并未對此進行有效的優(yōu)化，主要依賴于標準的實現(xiàn)對其進行改進。然而，目前已有的一些OMAF標準實現(xiàn)也并未在視角切換延時上有顯著的改良，難以為用戶提供良好的VR體驗，需要進一步優(yōu)化。此外，還有一些基于視角預測的方案，能夠降低視角切換延時，但這些方法往往較為復雜、不能直接在用戶終端完成預測，需要引入額外的邊緣計算服務器，這大大提高了VR?系統(tǒng)的部署成本。

發(fā)明內(nèi)容

本申請的目的是提供一種面向VR視頻的視角切換方法、裝置、電子設備及存儲介質(zhì)，以降低VR視頻的視角切換延時。

本申請第一方面提供一種面向VR視頻的視角切換方法，包括：

確定VR視頻設備對應的第一視角采樣頻率，所述視角采樣頻率大于每秒一次；

在同一個時間切片中，按照所述第一視角采樣頻率實時檢測用戶視角是否發(fā)生切換；

當檢測到所述用戶視角發(fā)生切換時，獲取切換后用戶視角對應的視圖矩形塊。

一種可能的實現(xiàn)方式中，所述按照所述視角采樣頻率實時檢測用戶視角是否發(fā)生切換，包括：

按照所述第一視角采樣頻率獲取相鄰兩個用戶視角分別對應的視圖矩形塊的序號集合；

若相鄰兩個用戶視角分別對應的視圖矩形塊的序號集合中的序號相同，則確定用戶視角未發(fā)生切換，否則確定用戶視角發(fā)生了切換。

一種可能的實現(xiàn)方式中，所述獲取切換后用戶視角對應的視圖矩形塊，包括：

判斷切換后用戶視角對應的視圖矩形塊的序號集合與VR視頻設備中當前已存在的視圖矩形塊的序號集合之間是否存在交集；

若不存在交集，則下載切換后用戶視角對應的全部視圖矩形塊；

若存在交集，則只下載切換后用戶視角對應的交集之外的視圖矩形塊。

一種可能的實現(xiàn)方式中，所述獲取切換后用戶視角對應的視圖矩形塊之后，所述方法還包括：