[發(fā)明專利]用于基于用戶位置的交互360視頻回放的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880079179.0
• 申請(qǐng)日: 2018-12-04
• 公開（公告）號(hào): CN111433725A
• 公開（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: M.伊布拉希姆;T.洛馬爾;A.埃爾埃賽利;R.瓦格納
• 申請(qǐng)（專利權(quán)）人: 瑞典愛(ài)立信有限公司
• 主分類號(hào): G06F3/0481
• 分類號(hào): G06F3/0481;G06T19/00;H04N21/858;G02B27/01;H04N13/332
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 付曼;姜冰

一種用于記錄視頻并且向虛擬現(xiàn)實(shí)VR環(huán)境中的觀看者回放該視頻的系統(tǒng)（30）、方法和頭戴式顯示器HMD設(shè)備（31）。利用全向視頻記錄相機(jī)（34），通過(guò)將地理區(qū)域劃分成多個(gè)區(qū)域部分并且在多個(gè)方向上移動(dòng)該相機(jī)時(shí)在單獨(dú)的視頻區(qū)段中記錄區(qū)域部分中的每個(gè)來(lái)記錄（51）地理區(qū)域。將每個(gè)視頻區(qū)段中的時(shí)間點(diǎn)與觀看者的虛擬位置相關(guān)聯(lián)（52）。在向觀看者提供出發(fā)方向的選擇的時(shí)間點(diǎn)處，系統(tǒng)接收（53）觀看者的選擇，并且向觀看者呈現(xiàn)（54）對(duì)應(yīng)于觀看者的虛擬位置和期望的移動(dòng)方向的視頻區(qū)段。可通過(guò)檢測(cè)觀看者的視野方向或通過(guò)從觀看者接收對(duì)橫幅通知的響應(yīng)來(lái)指示觀看者的選擇。

技術(shù)領(lǐng)域

本公開涉及虛擬現(xiàn)實(shí)（VR）系統(tǒng)，并且特別地涉及用于記錄并向VR環(huán)境中的觀看者回放360視頻的系統(tǒng)、方法和頭戴式顯示器（Head Mounted Display，HMD）。

背景技術(shù)

虛擬現(xiàn)實(shí)（VR）頭戴式顯示器（HMD）允許用戶體驗(yàn)全360度的虛擬環(huán)境。利用計(jì)算機(jī)生成的圖形（諸如來(lái)自計(jì)算機(jī)游戲的那些圖形），使得用戶能夠與場(chǎng)景交互并且能夠在VR環(huán)境中自由移動(dòng)（即，六個(gè)自由度——6DoF）。

越來(lái)越多的人利用360度相機(jī)（camera）記錄視頻，360度相機(jī)允許觀看者環(huán)顧四周，但僅從相機(jī)位置環(huán)顧四周。通常，僅記錄常規(guī)2D視頻，但也存在3D立體捕獲系統(tǒng)。然而，由于觀眾必須跟隨相機(jī)的運(yùn)動(dòng)，所以當(dāng)今360視頻對(duì)于觀眾僅可允許三個(gè)自由度（3DoF）。

從不同的位置（自由視點(diǎn)內(nèi)容）捕獲360視頻是可能的，如在下述文獻(xiàn)中所描述：“DVB, Virtual Reality – Prospects For DVB Delivery”，關(guān)于虛擬現(xiàn)實(shí)的DVB CM研究任務(wù)的報(bào)告，草案012——2016年六月。

圖1A-1E示出了用于利用全向相機(jī)記錄360視頻的若干常規(guī)備選方案。圖1A示出了在單個(gè)觀看方向上從固定視點(diǎn)位置捕獲視頻從而得到180度全景的備選方案。圖1B示出了在左或右方向上觀看時(shí)從固定視點(diǎn)位置捕獲視頻從而得到360度全景的備選方案，其可能不捕獲極點(diǎn)。圖1C示出了在從任何角度觀看時(shí)從固定視點(diǎn)位置捕獲視頻從而提供固定位置球形內(nèi)容的備選方案。針對(duì)水平立體觀看而優(yōu)化的視頻要求在極點(diǎn)處校正以避免由于視差（parallax）而引起的畸變。圖1D示出了從可移動(dòng)視點(diǎn)捕獲視頻的備選方案，其中從不同視點(diǎn)捕獲內(nèi)容，從而使得用戶能夠改變他/她的頭部位置。這通常意味著從不同位置記錄內(nèi)容的不同版本。圖1E示出了使用3D建模或計(jì)算機(jī)生成的影像（CGI）或者使用稱為光場(chǎng)的相機(jī)陣列從自由視點(diǎn)捕獲視頻的備選方案。此備選方案被稱為6DoF。雖然這對(duì)于CGI內(nèi)容是相當(dāng)成熟的，但是光場(chǎng)通常用在實(shí)驗(yàn)室環(huán)境中。

目前在許多不同的環(huán)境和許多不同的組合中探究了360視頻和VR。一個(gè)用例是創(chuàng)建特定事件或地點(diǎn)（例如博物館）的虛擬3D表示，并且觀看者可在HMD上進(jìn)行博物館的虛擬游覽。

當(dāng)今考慮了用于室內(nèi)和室外環(huán)境中的實(shí)時(shí)導(dǎo)航的方法。特別地，對(duì)于不使用GPS信號(hào)的室內(nèi)環(huán)境而言，采用諸如同時(shí)定位與建圖（SLAM）之類的方法。在下述文獻(xiàn)中進(jìn)一步詳細(xì)地描述了該過(guò)程：J. Biswas和M. Veloso的“Depth camera based indoor mobilerobot localization and navigation”，2012年IEEE機(jī)器人和自動(dòng)化國(guó)際會(huì)議，圣保羅，MN，2012年第1697-1702頁(yè)。SLAM基本上試圖通過(guò)掃描環(huán)境并且通過(guò)將深度相機(jī)圖像與所掃描的環(huán)境對(duì)照而定位環(huán)境中的對(duì)象來(lái)創(chuàng)建環(huán)境的地圖。諸如點(diǎn)云之類的3D表示常用于掃描環(huán)境。

360視頻給予觀看者在視頻的回放（playback）期間移動(dòng)他/她的頭部并且在有限程度上探索周圍環(huán)境的能力。HMD與360視頻的使用給觀看者帶來(lái)沉浸式體驗(yàn)，并且將它與攝像師正在控制視野的常規(guī)視頻記錄分開。在360視頻中，觀看者具有看向任何期望之處的自由。