[發明專利]一種基于強化學習的多用戶動態碼率視頻傳輸方法及系統

有效

• 申請號: 202110205013.2
• 申請日: 2021-02-24
• 公開（公告）號: CN113014968B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 張旭;楊凱;馬展
• 申請（專利權）人: 南京大學
• 主分類號: H04N21/2662
• 分類號: H04N21/2662;G06F9/50;G06N3/04;G06N3/08
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

本發明公開了一種基于強化學習的多用戶動態碼率視頻傳輸方法及系統。其方法包括：用戶與服務器協商，確定各用戶各自的角色及分組；各用戶請求服務器上的媒體描述文件，以及Actor神經網絡模型文件；各用戶根據歷史緩存信息，輸入Actor網絡，選擇合適碼率的音視頻塊；各用戶間隔一定時間上傳最近一段時間內的記錄，并下載服務器最新的Actor網絡模型文件；服務器上存儲用戶提供的記錄以及服務器資源狀態記錄，在獲取一定數量樣本后在服務器上集中訓練神經網絡。本發明的方法更好地考慮了視頻內容之間以及用戶之間的關系，能優化服務器資源使用，提高傳輸效率，保證用戶之間的公平性，同時也大大提高了用戶視頻體驗質量。

技術領域

本發明涉及視頻傳輸領域，具體涉及一種基于強化學習的多用戶動態碼率視頻傳輸方法及系統。

背景技術

近年來隨著智能終端(如智能手機，智能電視，平板電腦，頭顯)的快速發展，視頻傳輸向著更高用戶體驗(更高清晰度，更低卡頓率，更低延遲)方向發展。但是在復雜的網絡環境下，受限于現有網絡服務供應能力，更高的用戶體驗難以得到滿足。

在現有網絡設施基礎上提升服務質量成為視頻服務器提供商重點研究領域之一。現有的視頻服務優化主要針對客戶端-服務器模式下進行單用戶優化，例如通過算法估計網絡參數來選擇最合適碼率，這種方式的主要缺點在于網絡參數(時延，丟包等)成因復雜且相互影響，不同成因解決策略不同，需要針對具體場景制定不同策略，很難在不同網絡環境以及應用場景中泛化。同時單用戶優化導致用戶之間的公平性無法得到保障。隨著強化學習在碼率自適應傳輸中的應用，尤其是多智能體技術的進展，使得多用戶協同優化傳輸成為可能。

發明內容

本發明針對現有技術中的上述缺陷或不足，提供一種基于強化學習的多用戶動態碼率視頻傳輸方法及系統。

本發明方法所采用的技術方案是：

一種基于強化學習的多用戶動態碼率視頻傳輸方法，該方法的步驟包括：

a)多用戶通過與服務器進行協商，根據視頻傳輸的應用場景，確定用戶的角色和分組；

b)各用戶端具有Actor神經網絡，用戶根據所在的分組及角色請求傳輸服務器上的媒體描述文件，以及Actor神經網絡模型文件；

c)各用戶將歷史緩存信息及網絡狀態信息輸入Actor神經網絡，Actor神經網絡輸出碼率選擇，作為接下來用戶端選擇的碼率；

d)各用戶間隔一定時間向服務器上傳最近一段時間內的記錄，并下載服務器上最新的Actor神經網絡模型參數文件，替換本地的網絡模型參數；

e)服務器上存儲用戶提供的記錄以及服務器資源狀態記錄，在獲取一定數量樣本后利用多智能體深度確定性策略梯度算法訓練各用戶的Actor神經網絡以及服務器上的Critic神經網絡，用來響應用戶端的更新Actor神經網絡的請求。

本發明系統所采用的技術方案是：

一種基于強化學習的多用戶動態碼率視頻傳輸系統，包括：用戶協商單元，用于分配用戶角色并根據預設模型將用戶分組；資源調度單元，用于分配服務器資源給每個用戶，并監控每個用戶組使用服務器資源情況，根據使用情況動態調整用戶分組以及服務器資源；網絡訓練單元，用于在服務器上進行集中式訓練，在初始時提供不同應用場景下的模型文件，并且進行優化網絡模型參數，實時訓練并更新各用戶的Actor神經網絡模型文件

本發明的方法根據多用戶的關系通過分組與服務器協同優化，更好地考慮了視頻內容之間以及用戶之間的關系，能優化服務器資源使用，提高傳輸效率，保證用戶之間的公平性，同時也大大提高了用戶視頻體驗質量。

附圖說明

圖1是本發明實施例中方法的流程圖。

圖2是本發明實施例中系統的示意圖。

具體實施方式