[發明專利]一種基于模型預測控制的點云視頻流自適應傳輸方法

有效

• 申請號: 202110709837.3
• 申請日: 2021-06-25
• 公開（公告）號: CN113395603B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 黎潔;王慧宇;李奇越;張聰;王梟;陳勇;彭濤;韓玲
• 申請（專利權）人: 合肥工業大學
• 主分類號: H04N21/81
• 分類號: H04N21/81;H04N19/176;H04N19/597;H04N19/186;H04N21/234;H04N21/2662
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于模型預測控制的點云視頻流自適應傳輸方法，是應用在點云視頻服務器和點云播放客戶端所組成的網絡環境中；所述點云視頻服務器和點云播放客戶端之間是通過下行鏈路傳輸；所述下行鏈路中包含從點云播放客戶端到點云視頻服務器的反饋信道；其特征是，所述點云視頻自適應傳輸方法按如下步驟進行：

步驟一、將整個點云視頻在時間上均等劃分為K個幀組，記為{GOF₁,GOF₂,...,GOF_k,...,GOF_K}，其中，GOF_k表示點云視頻中的第k個幀組，且1≤k≤K；

將第k個幀組GOF_k在空間上均勻切分為C個a₁×a₂×a₃尺寸的切塊，并得到切塊集合記為{BLOCK_k,1,BLOCK_k,2,...,BLOCK_k,c,...,BLOCK_k,C}，其中，BLOCK_k,c表示第k個幀組GOF_k的第c個切塊，1≤c≤C；a₁,a₂,a₃分別為切塊長、寬、高；

將第c個切塊BLOCK_k,c壓縮成L種不同碼率等級的切塊，得到壓縮后的切塊集合記為{I_k,c,1,I_k,c,2,...,I_k,c,l,...,I_k,c,L}，其中，I_k,c,l表示第k個幀組GOF_k中第c個切塊BLOCK_k,c壓縮得到的第l種碼率等級的切塊，從而得到所有切塊的壓縮后的切塊集合并儲存在點云視頻服務器中；1≤l≤L；

將第c個切塊BLOCK_k,c壓縮后的切塊集合{I_k,c,1,I_k,c,2,...,I_k,c,l,...,I_k,c,L}所包含的點數的集合記為{P_k,c,1,P_k,c,2,...,P_k,c,l,...,P_k,c,L}，其中，P_k,c,L表示第k個幀組GOF_k中第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l所包含的點數；

將第c個切塊BLOCK_k,c壓縮后的切塊集合{I_k,c,1,I_k,c,2,...,I_k,c,l,...,I_k,c,L}所包含的數據量的集合記為{S_k,c,1,S_k,c,2,...,S_k,c,l,...,S_k,c,L}，其中，S_k,c,l表示第k個幀組GOF_k中第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l的數據量大小；

將第c個切塊BLOCK_k,c壓縮后的切塊集合{I_k,c,1,I_k,c,2,...,I_k,c,l,...,I_k,c,L}的解碼時間的集合記為{C_k,c,1,C_k,c,2,...,C_k,c,l,...,C_k,c,L}，其中，C_k,c,l表示第k個幀組GOF_k中第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l所需的解碼時間；

將每個幀組下載過程的平均帶寬集合記為{B₁,B₂,...,B_k...,B_K}，其中，B_k表示第k個幀組GOF_k下載過程中的平均帶寬；

步驟二、計算每個碼率的切塊的客觀質量；

步驟三、建立最優目標函數及其約束條件并作為用戶觀看體驗模型；

利用式(3-1)構建目標函數

x_k,c,l∈[0,1]

bf_k∈[0,bfmax]

式(3-1)中，x_k,c,l是決策變量，當x_k,c,l＝1時，表示第k個幀組GOF_k中第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l傳輸，當x_k,c,l＝0時，表示第k個幀組GOF_k中第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l不傳輸，bf_k表示開始下載第k個幀組GOF_k時的緩沖區容量，bfmax表示緩沖區容量最大值，QOE_k表示第k個幀組GOF_k的用戶觀看體驗值，并有：

QOE_k＝w₁×Quality_k-w₂×Pause_k-w₃×Quality_switch_k (3-2)

式(2-2)中，w₁,w₂,w₃為三個權重，Quality_k表示第k個幀組GOF_k的點云客觀質量，Pause_k表示第k個幀組GOF_k的暫停時間，Quality_switch_k表示第k個幀組GOF_k的質量切換，并有：

式(3-3)中，fov_k,c用于表示第k個幀組GOF_k的第c個切塊BLOCK_k,c在用戶視角內的可見性，當fov_k,c＝1時，表示第k個幀組GOF_k的第c個切塊BLOCK_k,c在第k個幀組GOF_k播放時的用戶視角內可見，當fov_k,c＝0時，表示第k個幀組GOF_k的第c個切塊BLOCK_k,c在第k個幀組GOF_k播放時的用戶視角內不可見；q_k,c,l表示第k個幀組GOF_k的第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l的客觀質量；

式(3-5)中，D_k,c表示第k個幀組GOF_k的第c個切塊BLOCK_k,c的距離權重，且Boundingboxsize_k,c表示k個幀組GOF_k的第c個切塊BLOCK_k,c所在點云空間的對角線長度，Dis_k,c表示觀看者視點位置到第c個切塊BLOCK_k,c的距離；

所述緩沖區容量bf_k是利用式(4-1)進行計算：

bf_k＝Tpl+max(bf_k-1-Tdw_k-1-Tdc_k-1,0) (4-1)

式(4-1)中，Tpl表示每個幀組的播放時間，并有Tpl＝f/fps，f表示一個幀組的幀數，fps表示每秒播放的幀數，當k＝1時，初始化緩沖區容量bf_k-1＝0.5，Tdw_k-1表示第k-1個幀組GOF_k-1總共所需的下載時間，并有：

式(4-1)中，Tdc_k-1表示第k-1個幀組GOF_k-1總共所需的解碼時間，并有：

式(4-2)和式(4-3)中，t₁,t₂,t₃代表解碼時間擬合參數；當k＝1時，初始化x_k-1,c,l，S_k-1,c,l和P_k-1,c,l均為全0二維數組，初始化fov_k-1,c為全0一維數組，B_k-1為0；

步驟四、使用模型預測控制方法對所述用戶觀看體驗模型求解，獲得當前環境參數下的下行傳輸決策變量，并傳輸至點云視頻服務器；

步驟五、所述點云視頻服務器將對應下行傳輸決策變量的點云切塊傳輸到點云播放客戶端，點云播放客戶端下載、解碼并融合后，送入緩沖區以在VR頭盔中播放；

步驟5.1、利用式(5-1)構造傳輸模型

x_k,c,l∈[0,1]

bf_k∈[0,bfmax]

式(5-1)中，N為所設定的窗口的長度；i表示當前求解的決策變量x_k,c,l對應的幀組序號；

步驟5.2、初始化i＝1；

步驟5.3、讀取當前幀組序號i對應的網絡帶寬B_i和第i個幀組的用戶視角fov_i；

步驟5.4、對第i個幀組之后的未來N-1個幀組的網絡帶寬{B_i+1,B_i+2,...,B_i+N-1}和用戶視角{fov_i+1,fov_i+2,...,fov_i+N-1}進行預測，得到未來N-1個帶寬預測值和未來N-1組的視角預測值并將賦值給{B_i+1,B_i+2,...,B_i+N-1}，賦值給{fov_i+1,fov_i+2,...,fov_i+N-1}；

步驟5.5、利用深度學習方法對式(5-1)進行求解，得到N組C×L個決策變量{x_1,c,l,x_2,c,l,...,x_k,c,l,...,x_N,c,l}，其中，x_k,c,l表示第k組的C×L個決策變量；

取第一組的C×L個決策變量x_1,c,l作為第i個幀組的決策變量x_i,c,l，即令x_i,c,l＝x_1,c,l，并丟棄其他決策變量；

步驟5.6、利用步驟5.5得到決策變量x_i,c,l對式(4-1)中的緩沖區容量bf_k-1進行更新，得到bf_k；

步驟5.7、保持窗口長度N不變，將i+1賦值給i后，返回步驟5.3順序執行，直到i＝K為止。

2.根據權利要求1所述的點云視頻流自適應傳輸方法，其特征是，所述步驟二是按照如下過程進行：

步驟2.1、將第k個幀組GOF_k的第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l記為退化點云V′，將k個幀組GOF_k的第c個切塊BLOCK_k,c記為參考點云V；

步驟2.2、將參考點云V中包含的點的集合記為其中，N_V表示參考點云V中包含的點的數量；V_n表示參考點云V中的第n個點，1≤n≤N_V；

步驟2.3、將退化點云V′中包含的點的集合記為其中，N′_V表示退化點云V′中包含的點的數量；V′_n′表示參考點云V中的第n′個點，1≤n′≤N′_V；

步驟2.4、找到參考點云V中與退化點云V′中的第n′個點V′_n′的最鄰近點，并將兩點之間的距離作為從退化點云V′到參考點云V的誤差向量d^V′,V(n′)；

找到退化點云V′中與參考點云V中的第n個點V_n的最鄰近點，并將兩點之間的距離作為從參考點云V到退化點云V′的誤差向量d^V,V′(n)；

步驟2.5、利用式(2-1)和式(2-2)分別計算從退化點云V′到參考點云V的均方根距離和從參考點云V到退化點云V′的均方根距離

步驟2.6、利用式(2-3)和式(2-4)分別計算從退化點云V′到參考點云V的Haus距離和從參考點云V到退化點云V′的Haus距離

步驟2.7、利用式(2-5)和式(2-6)分別計算均方根距離和Haus距離分別在兩個方向上的最大值和

步驟2.8、利用式(2-7)-式(2-9)分別計算從退化點云V′到參考點云V的亮度均方差MSE_y、色度的均方差MSE_u和飽和度的均方差MSE_v：

式(2-7)-式(2-9)中，分別表示退化點云V′中第n′個點的亮度值，色度值和飽和度值；分別表示參考點云V中距離退化點云V′的第n′個點最鄰近點的亮度值，色度值和飽和度值；

步驟2.9、利用式(2-10)計算總均方誤差AMSE：

步驟2.10、利用式(2-11)得到第k個幀組GOF_k的第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l的客觀質量q_k,c,l：

式(2-11)中，MAX_I表示第k個幀組GOF_k的第c個切塊BLOCK_k,c的第l個碼率等級的切塊I_k,c,l中像素點顏色的最大數值。