[發(fā)明專利]基于VR視頻渲染方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010622589.4
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111754614A
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 徐帆;楊拓
• 申請(qǐng)（專利權(quán)）人: 平安國(guó)際智慧城市科技股份有限公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;G06T15/55;G06T19/00
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種基于VR視頻渲染方法，其特征在于，所述基于VR視頻渲染方法包括：

創(chuàng)建渲染模型，所述渲染模型中對(duì)應(yīng)有頂點(diǎn)坐標(biāo)、頂點(diǎn)索引和紋理坐標(biāo)；

獲取待渲染視頻，并解碼所述待渲染視頻得到視頻紋理數(shù)據(jù)；

在開(kāi)放式圖形庫(kù)中加載頂點(diǎn)著色器和片元著色器，并對(duì)所述頂點(diǎn)著色器和片元著色器進(jìn)行編譯；

調(diào)用所述開(kāi)放式圖形庫(kù)接口將所述頂點(diǎn)坐標(biāo)和所述頂點(diǎn)索引輸入到編譯后的頂點(diǎn)著色器得到目標(biāo)頂點(diǎn)著色器，將所述紋理坐標(biāo)輸入到編譯后的片元著色器中得到目標(biāo)片元著色器；

監(jiān)聽(tīng)所述待渲染視頻的偏移量，得到更新的視頻紋理數(shù)據(jù)，在所述目標(biāo)頂點(diǎn)著色器和所述目標(biāo)片元著色器中將所述更新的視頻紋理數(shù)據(jù)渲染到終端設(shè)備的顯示屏幕上。

2.如權(quán)利要求1所述的基于VR視頻渲染方法，其特征在于，所述監(jiān)聽(tīng)所述待渲染視頻的偏移量，得到更新的視頻紋理數(shù)據(jù)，在所述目標(biāo)頂點(diǎn)著色器和所述目標(biāo)片元著色器中將所述更新的視頻紋理數(shù)據(jù)渲染到終端設(shè)備的顯示屏幕上包括：

當(dāng)監(jiān)聽(tīng)到所述待渲染視頻的渲染模式為左右分屏模式時(shí)，將所述終端設(shè)備的顯示屏幕劃分為左分屏區(qū)域和右分屏區(qū)域；

調(diào)用所述開(kāi)放式圖形庫(kù)的接口調(diào)整所述左分屏區(qū)域和所述右分屏區(qū)域?qū)?yīng)的視頻紋理數(shù)據(jù)中的眼睛和目標(biāo)位置的X軸坐標(biāo)，得到更新的視頻紋理數(shù)據(jù)，其中，所述右分屏區(qū)域?qū)?yīng)的所述眼睛和所述目標(biāo)位置的X軸坐標(biāo)按照預(yù)設(shè)的偏移位移量調(diào)整偏左側(cè)方向；

將所述更新的視頻紋理數(shù)據(jù)分別渲染到所述左分屏區(qū)域和所述右分屏區(qū)域。

3.如權(quán)利要求1所述的基于VR視頻渲染方法，其特征在于，所述監(jiān)聽(tīng)所述待渲染視頻的偏移量，得到更新的視頻紋理數(shù)據(jù)，在所述目標(biāo)頂點(diǎn)著色器和所述目標(biāo)片元著色器中將所述更新的視頻紋理數(shù)據(jù)渲染到終端設(shè)備的顯示屏幕上包括：

監(jiān)聽(tīng)所述待渲染視頻的觀看角度的偏移量，并根據(jù)所述觀看角度的偏移量調(diào)整所述待渲染視頻的視頻紋理數(shù)據(jù)得到更新的視頻紋理數(shù)據(jù)；

更新所述目標(biāo)頂點(diǎn)著色器和所述目標(biāo)片元著色器中的視頻紋理數(shù)據(jù)為所述更新的視頻紋理數(shù)據(jù)；

將所述更新的視頻紋理數(shù)據(jù)渲染到終端設(shè)備的顯示屏幕上。

4.如權(quán)利要求3所述的基于VR視頻渲染方法，其特征在于，所述監(jiān)聽(tīng)所述待渲染視頻的觀看角度的偏移量，并根據(jù)所述觀看角度的偏移量調(diào)整所述待渲染視頻的視頻紋理數(shù)據(jù)得到更新的視頻紋理數(shù)據(jù)包括：

監(jiān)聽(tīng)所述待渲染視頻對(duì)應(yīng)的手勢(shì)滑動(dòng)的橫向偏移量和縱向偏移量；

根據(jù)所述橫向偏移量和所述縱向偏移量生成所述待渲染視頻的觀看角度的偏移矩陣；

將所述偏移矩陣與每個(gè)三角形的頂點(diǎn)坐標(biāo)相乘得到新的頂點(diǎn)坐標(biāo)；

按照所述新的頂點(diǎn)坐標(biāo)調(diào)整所述待渲染視頻的視頻紋理數(shù)據(jù)的偏移角度矩陣得到更新的視頻紋理數(shù)據(jù)。

5.如權(quán)利要求3所述的基于VR視頻渲染方法，其特征在于，所述監(jiān)聽(tīng)所述待渲染視頻的觀看角度的偏移量，并根據(jù)所述觀看角度的偏移量調(diào)整所述待渲染視頻的視頻紋理數(shù)據(jù)得到更新的視頻紋理數(shù)據(jù)包括：

監(jiān)聽(tīng)所述待渲染視頻對(duì)應(yīng)的終端設(shè)備的調(diào)整方向并獲取所述終端設(shè)備調(diào)整方向后對(duì)應(yīng)的三維空間；

獲取預(yù)先設(shè)置的靈敏度系數(shù)；

將所述三維空間的方向轉(zhuǎn)換為x軸、y軸和z軸的偏移量；

根據(jù)所述x軸、y軸和z軸的偏移量生成所述待渲染視頻的觀看角度的偏移矩陣；

將所述偏移矩陣與所述靈敏度系數(shù)相乘之積與每個(gè)三角形的頂點(diǎn)坐標(biāo)相乘得到新的頂點(diǎn)坐標(biāo)；

按照所述新的頂點(diǎn)坐標(biāo)調(diào)整所述視頻紋理數(shù)據(jù)得到更新的視頻紋理數(shù)據(jù)。

6.如權(quán)利要求1所述的基于VR視頻渲染方法，其特征在于，所述解碼所述待渲染視頻得到視頻紋理數(shù)據(jù)包括：

獲取所述待渲染視頻對(duì)應(yīng)的播放器，其中，所述待渲染視頻存儲(chǔ)于區(qū)塊鏈節(jié)點(diǎn)中；

根據(jù)所述待渲染視頻創(chuàng)建表面紋理對(duì)象，根據(jù)所述表面紋理對(duì)象創(chuàng)建圖像；

將所述圖像綁定到所述播放器進(jìn)行視頻解碼得到解碼數(shù)據(jù)；

從所述解碼數(shù)據(jù)中獲得圖像幀數(shù)據(jù)；

調(diào)用所述開(kāi)放式圖形庫(kù)中的updateTexImage()更新所述圖像幀數(shù)據(jù)，并轉(zhuǎn)換為對(duì)應(yīng)的視頻紋理數(shù)據(jù)。