[發(fā)明專利]一種用于云VR平臺的全景視頻傳輸優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 202011264335.6
• 申請日: 2020-11-12
• 公開（公告）號: CN112468806B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計）人: 吳迪;羅顯卓;胡淼
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: H04N19/103
• 分類號: H04N19/103;H04N19/176;H04N21/234;H04N21/238;H04N21/647;G06T7/246;G06T7/00;G06N3/04;G06K9/62;G06V10/764
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 張金福

1.一種用于云VR平臺的全景視頻傳輸優(yōu)化方法，其特征在于，包括以下步驟：

S1：獲取全景視頻，并對全景視頻進(jìn)行處理，得到顯著度圖和運(yùn)動圖；

S2：根據(jù)顯著度圖和運(yùn)動圖提取用戶關(guān)注對象，并計算用戶關(guān)注對象的運(yùn)動速度；

S3：基于用戶關(guān)注對象的運(yùn)動速度建立用戶FoV預(yù)測模型；

FoV為Field of View，即視場；

所述用戶FoV預(yù)測模型為：

q(k,Δ,δ)＝λ×(v(k,Δ)-v(k,δ))

其中，p為用戶FoV位置，p(k)為k時刻的用戶FoV位置，p(k+Δ)為預(yù)測的k+Δ時刻的用戶FoV位置，p(k-δ)為k-δ時刻的用戶FoV位置；k是當(dāng)前時間點(diǎn)，Δ是預(yù)測的時間長度，是根據(jù)k時刻的用戶FoV位置與k-δ時刻的用戶FoV位置計算出的用戶FoV變化速度，δ是FoV變化速度測量區(qū)間長度，q(k,Δ,δ)為經(jīng)過放縮的前后關(guān)注對象運(yùn)動速度之差，λ為放縮因子，用以放縮關(guān)注對象運(yùn)動速度之差的影響，v(k,Δ)為區(qū)間[k，k+Δ]上的用戶關(guān)注對象的運(yùn)動速度，v(k,δ)為區(qū)間[k-δ，k]上的用戶關(guān)注對象的運(yùn)動速度；

S4：結(jié)合用戶FoV預(yù)測模型，采用視頻圖塊清晰度選擇算法對全景視頻中待傳輸?shù)囊曨l幀進(jìn)行壓縮，并將完成壓縮的視頻幀通過云VR平臺進(jìn)行傳輸，從而實現(xiàn)對全景視頻的傳輸優(yōu)化。

2.根據(jù)權(quán)利要求1所述的一種用于云VR平臺的全景視頻傳輸優(yōu)化方法，其特征在于，在步驟S1中，對全景視頻進(jìn)行處理包括以下步驟：

S1.1：利用卷積神經(jīng)網(wǎng)絡(luò)處理全景視頻，得到全景視頻的顯著度圖；

S1.2：通過Lucas-Kanade光流法分析全景視頻連續(xù)幀的光流，得到全景視頻的運(yùn)動圖。

3.根據(jù)權(quán)利要求1所述的一種用于云VR平臺的全景視頻傳輸優(yōu)化方法，其特征在于，步驟S2具體為：

S2.1：獲取用戶關(guān)注對象中心坐標(biāo)：讀取一組顯著度圖，每隔若干幀選取一張顯著度圖，在所選顯著度圖中選擇像素值大于250的像素點(diǎn)，并記錄其坐標(biāo)；其中，所選擇的像素點(diǎn)即為用戶關(guān)注對象中心，其所在的區(qū)域即代表用戶關(guān)注對象，其坐標(biāo)即為用戶關(guān)注對象中心坐標(biāo)；設(shè)每一幀包含n個用戶關(guān)注對象中心；

S2.2：追蹤用戶關(guān)注對象：在一組運(yùn)動圖中，每次讀取兩張連續(xù)的運(yùn)動圖，對于前一張運(yùn)動圖，把圖中的用戶關(guān)注對象中心的像素值更改為255，其余更改為0；對于后一張運(yùn)動圖不作改變；對兩張圖使用幀間差分法，從而獲取后一幀中的用戶關(guān)注對象中心坐標(biāo)，實現(xiàn)追蹤；

S2.3：計算運(yùn)動距離：以連續(xù)的兩幀為例，設(shè)前一幀中第i個用戶關(guān)注對象中心坐標(biāo)為(x_ia，y_ia)，后一幀中第i個用戶關(guān)注對象中心坐標(biāo)為(x_ib，y_ib)，那么在這兩幀中第i個中心的運(yùn)動距離dist為

S2.4：計算運(yùn)動速度：根據(jù)起始時間點(diǎn)和結(jié)束時間點(diǎn)分別找出對應(yīng)的幀作為起始幀和結(jié)束幀，從起始幀到結(jié)束幀累加n個用戶關(guān)注對象中心坐標(biāo)的運(yùn)動距離，然后對運(yùn)動距離取平均值，最后根據(jù)相應(yīng)的時間區(qū)間計算得到運(yùn)動速度。

4.根據(jù)權(quán)利要求3所述的一種用于云VR平臺的全景視頻傳輸優(yōu)化方法，其特征在于，在步驟S2.1中，每隔100幀選取一張顯著度圖。

5.根據(jù)權(quán)利要求1所述的一種用于云VR平臺的全景視頻傳輸優(yōu)化方法，其特征在于，在步驟S3中，還包括獲取用戶歷史FoV運(yùn)動軌跡；

將用戶歷史FoV運(yùn)動軌跡和用戶關(guān)注對象的運(yùn)動速度作為所述用戶FoV預(yù)測模型的輸入，從而得到預(yù)測的用戶FoV位置。