[發(fā)明專利]用于將內(nèi)容分發(fā)和呈現(xiàn)為球形視頻和3D資產(chǎn)組合的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880045898.0
• 申請(qǐng)日: 2018-05-11
• 公開（公告）號(hào): CN110869980A
• 公開（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 塔圖·V·J·哈爾維艾寧;馬爾科·帕維艾寧
• 申請(qǐng)（專利權(quán)）人: PCMS控股公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;H04N13/117;H04N13/279
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 馬爽;臧建明

可針對(duì)3D視頻內(nèi)容模擬運(yùn)動(dòng)視差效果。在頭戴式顯示器(HMD)處，可以通過以下各項(xiàng)來仿真運(yùn)動(dòng)視差：在HMD處接收3D視頻；獲得3D視頻中的對(duì)象的模型；獲得被處理的3D視頻，其中所述3D視頻被處理以從所述3D視頻移除對(duì)象；通過HMD的傳感器來跟蹤HMD的位置的變化；在HMD處呈現(xiàn)所述被處理的3D視頻；以及基于所跟蹤的HMD的位置的變化在被處理的3D視頻中的一位置處呈現(xiàn)對(duì)象的模型。還可以生成指示其中的對(duì)象的深度的多層球形視頻，其可以用于運(yùn)動(dòng)視差仿真。

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)是2017年5月18日提交的名為“用于將內(nèi)容分發(fā)和呈現(xiàn)為球形視頻和3D資產(chǎn)組合的系統(tǒng)和方法”的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)62/508,120的正式申請(qǐng)并根據(jù)35U.S.C.§119(e)要求其權(quán)益，該美國(guó)臨時(shí)專利申請(qǐng)的全部?jī)?nèi)容通過引用的方式合并于此。

背景技術(shù)

虛擬現(xiàn)實(shí)(VR)設(shè)置通常利用能夠連接到不同種類的網(wǎng)絡(luò)的頭戴式顯示器(HMD)設(shè)備來促進(jìn)。運(yùn)動(dòng)視差是當(dāng)觀看者移動(dòng)到新視點(diǎn)時(shí)對(duì)象相對(duì)于背景的明顯運(yùn)動(dòng)。一些現(xiàn)有的360度視頻解決方案，例如三自由度(DOF)VR，僅從單個(gè)相機(jī)位置提供圖像。視點(diǎn)可以改變，但是其將不展現(xiàn)運(yùn)動(dòng)視差。因此，如果360度視頻的觀看者例如通過側(cè)向移動(dòng)他們的頭部來平移他們的觀看位置，則360度視頻保持不變。雖然全六DOF VR實(shí)現(xiàn)了用于增加的真實(shí)感的運(yùn)動(dòng)視差，但是除了HMD可能是系留式(tethered)HMD之外，可能導(dǎo)致大量的計(jì)算、呈現(xiàn)(rendering)和帶寬需求。本文闡述的系統(tǒng)和方法試圖解決這些問題和其他問題。

發(fā)明內(nèi)容

根據(jù)本文闡述的一些實(shí)施例，存在用于在三DOF系統(tǒng)中顯示具有運(yùn)動(dòng)視差效果的VR對(duì)象的系統(tǒng)和方法。

在一些實(shí)施例中，一種在頭戴式顯示器(HMD)處仿真運(yùn)動(dòng)視差的示例方法包括：在HMD處接收3D視頻；獲得3D視頻中的對(duì)象的模型；獲得被處理的3D視頻，其中3D視頻被處理以從3D視頻移除對(duì)象；通過HMD的傳感器來跟蹤HMD的位置的變化；在HMD處呈現(xiàn)被處理的3D視頻；以及基于所跟蹤的HMD的位置的變化在被處理的3D視頻中的一位置處呈現(xiàn)對(duì)象的模型。

在一些實(shí)施例中，一種用于在頭戴式顯示器(HMD)處仿真運(yùn)動(dòng)視差的示例方法包括：在HMD處顯示接收的3D視頻；選擇3D視頻中的對(duì)象以用于運(yùn)動(dòng)視差仿真；獲得3D視頻中的對(duì)象的3D模型；從3D視頻中移除對(duì)象以準(zhǔn)備沒有所述對(duì)象的被處理的3D視頻；通過HMD的傳感器來跟蹤HMD的位置的變化；在HMD處呈現(xiàn)被處理的3D視頻；以及基于所跟蹤的HMD的位置的變化在被處理的3D視頻中的一位置處呈現(xiàn)對(duì)象的3D模型。

根據(jù)本文闡述的一些實(shí)施例，存在用于生成多層球形視頻的系統(tǒng)和方法。

在一些實(shí)施例中，一種生成多層球形視頻的示例方法包括：獲得靜態(tài)環(huán)境的3D重構(gòu)；獲得所述環(huán)境的存在動(dòng)態(tài)元素的場(chǎng)景的球形視頻；對(duì)于所獲得的球形視頻的每個(gè)幀：基于靜態(tài)環(huán)境的3D重構(gòu)與使用通過差分呈現(xiàn)的照明模擬的球形視頻的比較來估計(jì)動(dòng)態(tài)元素的深度值；基于靜態(tài)環(huán)境的3D重構(gòu)來分配幀的剩余部分的深度值；以及基于所估計(jì)和分配的深度值將幀劃分為多個(gè)深度層；以及從幀的深度層生成多層球形視頻。

附圖說明

圖1描繪了根據(jù)一些實(shí)施例的VR系統(tǒng)的示意性平面圖。

圖2描繪了根據(jù)一些實(shí)施例的實(shí)現(xiàn)運(yùn)動(dòng)視差的示例過程。

圖3A-3B描繪了根據(jù)一些實(shí)施例的用于在客戶端側(cè)設(shè)備中實(shí)現(xiàn)復(fù)雜3D模型的所選元素的運(yùn)動(dòng)視差的序列圖。

圖4A描繪了根據(jù)一些實(shí)施例的用于在HMD中提供運(yùn)動(dòng)視差效果的示例方法。

圖4B描繪了根據(jù)一些實(shí)施例的用于在HMD中提供運(yùn)動(dòng)視差效果的示例方法。

圖5A描繪了根據(jù)一些實(shí)施例的360度視頻的第一視點(diǎn)。

圖5B描繪了根據(jù)一些實(shí)施例的圖5A的360度視頻的第二視點(diǎn)。