[發明專利]多視點視頻流多速率組播傳輸的最優速率分配方法

有效

• 申請號: 201210571123.1
• 申請日: 2012-12-26
• 公開（公告）號: CN103024597A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 鄒君妮;石征;陳琳;譚沖;楊陽
• 申請（專利權）人: 上海大學
• 主分類號: H04N21/647
• 分類號: H04N21/647;H04N21/266
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

1.一種多視點視頻流多速率組播傳輸的最優速率分配方法，其特征在于根據上述發明構思，采用下述步驟實現異構網絡環境中所有用戶整體失真最小化，其步驟如下：

第一，將多視點視頻流傳輸中的多速率多徑路由、中繼節點的網絡流量控制進行聯合優化；

第二，在選擇最佳組播傳輸路徑和分配各視點視頻流傳輸速率時，兼顧視點和幀的傳輸優先級順序，不僅為每個視頻流尋求傳輸網絡使所有需要該視點的用戶節點的失真最小化，而且滿足網絡環境中所有用戶對視點的請求度和幀之間解碼依賴性的需求；

第三，采用分布式的速率分配算法，即采用拉格朗日對偶方法對原始凸優化問題進行分解和求解，既實現了資源的最優分配，又便于分布式求解；

上述第一步驟中的聯合優化是：網絡中每個接收節點在接收需要的視頻流時，同時選用多條路由路徑；基于這些路徑，合理分配網絡資源給各個視點，進一步提高網絡的吞吐量；

上述第二步驟中的兼顧視點和幀的傳輸優先級順序是：確定視點和幀的傳輸優先級計算方法，在選擇路由和進行網絡流量分配時，傳輸優先級較高的視點分配的網絡流量較多，每個視點分配的網絡流量首先用于傳輸優先級比較高的幀；

上述第三步驟中的分布式的速率分配算法是：利用拉格朗日對偶方法，對原始凸優化問題進行分解和求解，允許每個網絡節點和每條鏈路利用本地局部信息進行速率的動態調整和更新，以分布式方式實現鏈路傳輸速率的全局最優化分配；以網絡中所有用戶整體失真最小化為目標函數，以鏈路容量限制、視點編碼速率限制等為約束函數，建立多視點視頻流多速率組播傳輸的資源分配凸優化數學模型；具體方法如下：

1．網絡模型的建立

將網絡抽象為有向圖???????????????????????????????????????????????，其中是節點的集合，分為源節點集合、中間節點集合和接收節點集合，是節點之間鏈路的集合；對于每條鏈路對應有限的傳輸帶寬；假定一個多視點視頻包含個視點，每一個視點的編碼速率為；假設從源節點到每個接收節點均有多條傳輸路徑，表示接收節點在接收第個視點數據時，第條路徑上分配的網絡流量大小；矩陣表示鏈路和接收節點的傳輸路徑之間的關系，其中的元素表示鏈路包含于接收節點的第條傳輸路徑中，表示鏈路沒有包含在接收節點的第條傳輸路徑中；

2.?視點和幀的傳輸優先級的計算

在用戶端，顯示設備周期性檢測用戶的位置，假定用戶端和視點的視角夾角為，用戶端對視點的需求度為，其計算方式為：，設置用戶端視點的選擇閾值為，若視點的需求度大于視點選擇閾值，則用戶端選擇該視點，并向存儲多視點視頻數據的服務器發送該視點請求，否則用戶端不選擇該視點，不向服務器發送該視點請求，服務器收集所有用戶的視點請求信息，并以此計算每個視點的傳輸優先級，即傳輸網絡中所有用戶對視點的需求度之和作為視點的傳輸優先級，其表達式為：?????????????????；

在多視點視頻編碼KS-IPP結構中，視點的編碼順序按視點的傳輸優先級確定，將傳輸優先級最高的視點作為第一個視點，并根據視點傳輸優先級從高到低的順序依次確定其他視點在KS-IPP編碼結構中的順序，

多視點視頻中幀的傳輸優先級由該幀所在視點的傳輸優先級和該幀的類型確定，多視點視頻編碼KS-IPP結構中包含不同類型的幀，其具體如下：幀、幀、幀、幀、幀，每一類幀丟失均導致一部分幀不能正常解碼，若幀或者幀丟失，則幀或者幀所在的視點和該視點外解碼依賴幀或者幀的其他視點均不能正常解碼，若幀丟失，則該幀所在視點內除??幀均不能正常解碼，若幀丟失，則該幀的相鄰幀不能正常解碼，幀丟失不影響其他幀的正常解碼，因此，設視點中的第個幀丟失所引起的不能正常解碼的幀集合，其表達式為:

??

上述公式中，表示視點中的第個幀，表示多視點視頻中的視點數，表示每個GOP(Group?of?Picture)中幀的數目，集合可分為兩部分：只包含視點內幀的集合和包含視點以外幀的集合，

在計算幀的傳輸優先級時，首先視點中的第個幀的傳輸優先級等于該幀丟失時視點中不能正常解碼的幀的傳輸優先級之和，即集合中幀的傳輸優先級之和，其計算表達式表示為：

??

式中，表示視點中第個幀的傳輸優先級，表示視點中第個幀，表示幀的傳輸優先級，表示幀的丟失導致視點中不能正常解碼的幀的集合，表示每個GOP(Group?of?Picture)中幀的數目，

當在編碼幀時以其他幀為參考幀，其他幀的編碼均不依賴于幀，則在每個視點內幀的傳輸優先級是最小的，幀的傳輸優先級是計算其他幀的傳輸優先級的基礎，在每個視點中，設所有幀的傳輸優先級之和等于該視點的傳輸優先級，其計算表達式為：

???

式中，表示第個視點的傳輸優先級，表示視點中第個幀，表示幀的傳輸優先級，表示視點的一個GOP(Group?of?Picture)內所包含幀的集合，表示每個GOP中幀的數目，

根據以上計算表達式和計算表達式，即可得到每個視點中各個幀的傳輸優先級，

在多視點視頻編碼KS-IPP結構中，每個視點的關鍵幀幀或者幀采用視點內編碼和視點間編碼的方式，在計算幀或者幀的傳輸優先級時還要考慮視點間編碼，一個幀或者幀的傳輸優先級可以表示為該幀丟失而不能正常解碼的所有關鍵幀的傳輸優先級之和，即集合中關鍵幀的傳輸優先級之和：

??

式中，表示視點中第0個幀的傳輸優先級，表示視點中第0個幀，表示幀的傳輸優先級，表示幀的丟失導致視點以外的視點中不能正常解碼的幀的集合，表示多視點視頻中視點的數目，

根據視點和幀的傳輸優先級，若在一個用戶端的可用網絡流量不足以傳輸所有選擇的視點時，則按照傳輸優先級從高到低的順序傳輸視點；若可用網絡流量不足以傳輸一個視點中所有的幀，則按照傳輸優先級從高到低的順序傳輸視點內的幀，這樣可以提高用戶端接收的視頻質量，

3．建立凸優化數學模型

目標問題P:????min?

約束條件：

1)???????；

2)??????????；

3)??????????????????；

優化目標：使異構網絡環境中的所有用戶失真總和最小化；其中為視點對與用戶的重要性，，

約束條件：?

1)??規定每條鏈路上的實際網絡流量消耗量小于等于該鏈路的傳輸容量；

2)??對應于各個接收節點，用于接收每個視點的網絡流量小于等于該視點的編碼碼率；

3)??規定各個接收節點在每條路徑上的網絡流量必須大于等于零；

4.?對原始凸優化問題分布式求解

目標問題P1:???

約束條件：

???????????；?

步驟1：定義拉格朗日對偶：

??????

????其中，是拉格朗日乘子；

步驟2：定義拉格朗日對偶函數：?；

步驟3：定義對偶問題：??；

步驟4：采用原始-對偶算法，同時更新原始變量和對偶變量，逐步逼近最優點，其中和是正的步長值，表示取正值的運算：

在以上更新過程中，可視為擁塞代價，當總需求逼近可提供的網絡流量上限時，上升；反之，下降，定義為滿足目標問題P1中約束條件的最優化拉格朗日乘子，是第條鏈路上總的擁塞代價，所有更新過程可以分布式實現，每條鏈路、每個節點只需要局部信息，就可完成更新。