[發(fā)明專(zhuān)利]沉浸式VR視頻渲染方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810005786.4
• 申請(qǐng)日: 2018-01-03
• 公開(kāi)（公告）號(hào): CN108377381A
• 公開(kāi)（公告）日: 2018-08-07
• 發(fā)明（設(shè)計(jì)）人: 王焯;唐泳滔;趙若熹;張家齊;祖浩焱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 黑帆科技有限公司
• 主分類(lèi)號(hào): H04N13/344
• 分類(lèi)號(hào): H04N13/344;H04N13/275;H04N13/106;G06T17/00
• 代理公司: 北京成創(chuàng)同維知識(shí)產(chǎn)權(quán)代理有限公司 11449
• 代理人: 蔡純;范芳茗

公開(kāi)了一種沉浸式VR視頻渲染方法，包括：獲得相關(guān)參數(shù)，所述相關(guān)參數(shù)包括攝像機(jī)矩陣、投射矩陣、模型矩陣和透鏡扭曲圓心位置；創(chuàng)建三維模型，獲得所述三維模型的原始坐標(biāo)數(shù)據(jù)；根據(jù)相關(guān)參數(shù)和所述三維模型的原始坐標(biāo)數(shù)據(jù)獲得第一坐標(biāo)數(shù)據(jù)；基于所述透鏡扭曲的圓心位置對(duì)所述第一坐標(biāo)數(shù)據(jù)做透鏡扭曲，獲得第二坐標(biāo)數(shù)據(jù)；像素化所述第二坐標(biāo)數(shù)據(jù)，獲得像素單元；以及根據(jù)VR視頻數(shù)據(jù)和所述像素單元繪制圖像。根據(jù)本發(fā)明，在三維模型中進(jìn)行坐標(biāo)點(diǎn)的透鏡扭曲，可以在一次處理中實(shí)現(xiàn)畫(huà)面渲染和沉浸式渲染效果，從而提高了渲染效率。同時(shí)公開(kāi)一種沉浸式VR視頻渲染裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)，更具體地，涉及一種沉浸式VR視頻渲染方法及及裝置。

背景技術(shù)

虛擬現(xiàn)實(shí)(VR)技術(shù)是一種創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿系統(tǒng)，例如，可以根據(jù)觀察者頭、眼和手的跟蹤技術(shù)呈現(xiàn)相對(duì)應(yīng)的三維實(shí)時(shí)圖像。在基于網(wǎng)絡(luò)的虛擬現(xiàn)實(shí)技術(shù)中，預(yù)先將全視角的視頻數(shù)據(jù)存儲(chǔ)在服務(wù)器上，然后將全視角的視頻數(shù)據(jù)傳送至諸如眼鏡之類(lèi)的顯示裝置上，根據(jù)觀察者的觀看位置將相應(yīng)視角的視頻數(shù)據(jù)顯示在顯示裝置上。

在顯示裝置播放時(shí)，由于處理高分辨率的VR視頻數(shù)據(jù)需要占用大量的計(jì)算資源，由此要求顯示裝置具備強(qiáng)大的數(shù)據(jù)處理能力。然而目前市場(chǎng)上的不同型號(hào)的顯示裝置在性能上相差很大，為了兼容不同型號(hào)的顯示裝置，在軟件方面應(yīng)盡可能優(yōu)化VR播放系統(tǒng)，在不降低用戶(hù)的觀影體驗(yàn)的前提下，降低對(duì)資源的耗用，提高處理效率。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┏两絍R視頻渲染方法及裝置，以解決上述問(wèn)題。

根據(jù)本發(fā)明的第一方面，提供一種沉浸式VR視頻渲染方法，包括：

獲得相關(guān)參數(shù)，所述相關(guān)參數(shù)包括攝像機(jī)矩陣、投射矩陣、模型矩陣和透鏡扭曲圓心位置；

創(chuàng)建三維模型，獲得所述三維模型的的原始坐標(biāo)數(shù)據(jù)；

根據(jù)所述相關(guān)參數(shù)和所述三維模型的原始坐標(biāo)數(shù)據(jù)獲得第一坐標(biāo)數(shù)據(jù)；

基于所述透鏡扭曲的圓心位置對(duì)所述第一坐標(biāo)數(shù)據(jù)做透鏡扭曲，獲得第二坐標(biāo)數(shù)據(jù)；

像素化所述第二坐標(biāo)數(shù)據(jù)，獲得像素單元；以及

根據(jù)VR視頻數(shù)據(jù)和所述像素單元繪制圖像。

優(yōu)選地，所述獲得相關(guān)參數(shù)包括：

根據(jù)頭顯設(shè)備的規(guī)格和屏幕尺寸獲得視場(chǎng)角度參數(shù)；

根據(jù)所述視場(chǎng)角度參數(shù)計(jì)算所述透鏡扭曲圓心位置；以及

根據(jù)所述視場(chǎng)角度參數(shù)計(jì)算所述投射矩陣。

優(yōu)選地，所述獲得相關(guān)參數(shù)包括：

所述根據(jù)頭顯設(shè)備的規(guī)格獲得眼距參數(shù)；以及

根據(jù)所述眼距參數(shù)計(jì)算所述攝像機(jī)矩陣。

優(yōu)選地，通過(guò)調(diào)節(jié)所述攝像機(jī)矩陣和所述投影矩陣達(dá)到雙目模式的效果。

優(yōu)選地，所述根據(jù)相關(guān)參數(shù)和所述三維模型的原始坐標(biāo)數(shù)據(jù)獲得第一坐標(biāo)數(shù)據(jù)包括以下步驟：

所述根據(jù)相關(guān)參數(shù)和所述三維模型的原始坐標(biāo)數(shù)據(jù)獲得第一坐標(biāo)數(shù)據(jù)包括以下步驟：

通過(guò)方程式(1)–(4)計(jì)算雙目模式下左右眼的攝像機(jī)矩陣：

left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4_view (3)

right_view_matrix＝translate(half_eye_ipd,0,0)*mat4_view (4)