[發(fā)明專利]一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011264335.6
• 申請(qǐng)日: 2020-11-12
• 公開（公告）號(hào): CN112468806B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 吳迪;羅顯卓;胡淼
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): H04N19/103
• 分類號(hào): H04N19/103;H04N19/176;H04N21/234;H04N21/238;H04N21/647;G06T7/246;G06T7/00;G06N3/04;G06K9/62;G06V10/764
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 張金福

本發(fā)明提供一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法，包括以下步驟：S1：獲取全景視頻，并對(duì)全景視頻進(jìn)行處理，得到顯著度圖和運(yùn)動(dòng)圖；S2：根據(jù)顯著度圖和運(yùn)動(dòng)圖提取用戶關(guān)注對(duì)象，并計(jì)算用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度；S3：基于用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度建立用戶FoV預(yù)測(cè)模型；S4：結(jié)合用戶FoV預(yù)測(cè)模型，采用視頻圖塊清晰度選擇算法對(duì)全景視頻中待傳輸?shù)囊曨l幀進(jìn)行壓縮，并將完成壓縮的視頻幀通過云VR平臺(tái)進(jìn)行傳輸。本發(fā)明提供一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法，能夠減少傳輸所需帶寬、降低端到端時(shí)延，實(shí)現(xiàn)對(duì)全景視頻的傳輸優(yōu)化，解決了目前云VR平臺(tái)傳輸全景視頻的流暢性比較差的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，更具體的，涉及一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法。

背景技術(shù)

隨著虛擬現(xiàn)實(shí)設(shè)備的廣泛使用，業(yè)界對(duì)全景視頻展現(xiàn)出濃厚的興趣。目前，各大視頻平臺(tái)開始推出虛擬現(xiàn)實(shí)內(nèi)容，主要通過傳輸高分辨率的全景視頻到用戶的HMD(Helmet-Mounted Display，頭盔顯示器)播放，來提供沉浸式的全景視頻觀看體驗(yàn)。在國外，YouTube的全景視頻專區(qū)已有超過8000部全景視頻，Oculus的全景視頻片源達(dá)1000余部，提供電影及紀(jì)錄片點(diǎn)播；在國內(nèi)，包括愛奇藝、優(yōu)酷在內(nèi)的部分視頻網(wǎng)站也推出了全景視頻專區(qū)。全景視頻的應(yīng)用覆蓋了許多領(lǐng)域，如游戲、直播、運(yùn)動(dòng)等等，它還可以應(yīng)用于諸如醫(yī)療、制藥、工程建設(shè)、展覽、教育、軍事等實(shí)用性的場(chǎng)景，不僅給用戶帶來身臨其境的體驗(yàn)，還能在一定程度上跨越時(shí)空界限和器材限制。

按照服務(wù)運(yùn)行的位置，可把VR(Virtual Reality，虛擬現(xiàn)實(shí))分為本地VR和云VR兩類。本地VR把內(nèi)容存儲(chǔ)和渲染放在本地完成，這種解決方案要求本地設(shè)備有相當(dāng)高的計(jì)算能力，如高性能的PC、VR一體機(jī)等等，這將給用戶帶來高昂的成本。云VR則將內(nèi)容存儲(chǔ)和渲染放置到云端進(jìn)行，本地僅需完成解碼和顯示，從而降低了對(duì)設(shè)備性能的要求，有效降低了成本。

然而，目前云VR處于起步階段，云VR平臺(tái)傳輸全景視頻的編解碼時(shí)延和端到端時(shí)延比較高，導(dǎo)致流暢性比較差。

現(xiàn)有技術(shù)中，如2020年3月24日公開的中國專利，一種基于深度融合的視頻顯著性檢測(cè)方法，公開號(hào)為CN110909594A，通過深度特征提取網(wǎng)絡(luò)、深度特征融合網(wǎng)絡(luò)和顯著性預(yù)測(cè)網(wǎng)絡(luò)對(duì)當(dāng)前幀圖像和光流圖像進(jìn)行處理，最終產(chǎn)生當(dāng)前幀的最終顯著性圖，實(shí)現(xiàn)對(duì)視頻中顯著性目標(biāo)的預(yù)測(cè)，但沒有對(duì)視頻進(jìn)行傳輸優(yōu)化。

發(fā)明內(nèi)容

本發(fā)明為克服目前云VR平臺(tái)傳輸全景視頻的流暢性比較差的技術(shù)缺陷，提供一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法。

為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

一種用于云VR平臺(tái)的全景視頻傳輸優(yōu)化方法，包括以下步驟：

S1：獲取全景視頻，并對(duì)全景視頻進(jìn)行處理，得到顯著度圖和運(yùn)動(dòng)圖；

S2：根據(jù)顯著度圖和運(yùn)動(dòng)圖提取用戶關(guān)注對(duì)象，并計(jì)算用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度；

S3：基于用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度建立用戶FoV預(yù)測(cè)模型；其中，F(xiàn)oV為Field ofView，即視場(chǎng)；

S4：結(jié)合用戶FoV預(yù)測(cè)模型，采用視頻圖塊清晰度選擇算法對(duì)全景視頻中待傳輸?shù)囊曨l幀進(jìn)行壓縮，并將完成壓縮的視頻幀通過云VR平臺(tái)進(jìn)行傳輸，從而實(shí)現(xiàn)對(duì)全景視頻的傳輸優(yōu)化。

上述方案中，通過計(jì)算用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度，并基于用戶關(guān)注對(duì)象的運(yùn)動(dòng)速度建立用戶FoV預(yù)測(cè)模型，然后結(jié)合用戶FoV預(yù)測(cè)模型，采用視頻圖塊清晰度選擇算法對(duì)全景視頻中待傳輸?shù)囊曨l幀進(jìn)行壓縮后再進(jìn)行傳輸，從而減少傳輸所需帶寬、降低端到端時(shí)延，實(shí)現(xiàn)對(duì)全景視頻的傳輸優(yōu)化。

優(yōu)選的，在步驟S1中，對(duì)全景視頻進(jìn)行處理包括以下步驟：

S1.1：利用卷積神經(jīng)網(wǎng)絡(luò)處理全景視頻，得到全景視頻的顯著度圖；