[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110205013.2
• 申請(qǐng)日: 2021-02-24
• 公開(kāi)（公告）號(hào): CN113014968B
• 公開(kāi)（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 張旭;楊凱;馬展
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): H04N21/2662
• 分類號(hào): H04N21/2662;G06F9/50;G06N3/04;G06N3/08
• 代理公司: 江蘇法德東恒律師事務(wù)所 32305
• 代理人: 李媛媛

1.一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，該方法的步驟包括：

a)多用戶通過(guò)與服務(wù)器進(jìn)行協(xié)商，根據(jù)視頻傳輸?shù)膽?yīng)用場(chǎng)景，確定用戶間的關(guān)系并進(jìn)行分組；用戶間的關(guān)系包括三種：競(jìng)爭(zhēng)關(guān)系、合作關(guān)系、競(jìng)爭(zhēng)與合作關(guān)系；

b)各用戶端具有Actor神經(jīng)網(wǎng)絡(luò)，用戶根據(jù)所在的分組及角色請(qǐng)求傳輸服務(wù)器上的媒體描述文件，以及Actor神經(jīng)網(wǎng)絡(luò)模型文件；

c)各用戶將歷史緩存信息及網(wǎng)絡(luò)狀態(tài)信息輸入Actor神經(jīng)網(wǎng)絡(luò)，Actor神經(jīng)網(wǎng)絡(luò)輸出碼率選擇，作為接下來(lái)用戶端選擇的碼率；

d)各用戶間隔一定時(shí)間向服務(wù)器上傳最近一段時(shí)間內(nèi)的記錄，并下載服務(wù)器上最新的Actor神經(jīng)網(wǎng)絡(luò)模型文件，替換本地的網(wǎng)絡(luò)模型參數(shù)；

e)服務(wù)器上存儲(chǔ)用戶提供的記錄以及服務(wù)器資源狀態(tài)記錄，在獲取一定數(shù)量樣本后利用多智能體深度確定性策略梯度算法訓(xùn)練各用戶的Actor神經(jīng)網(wǎng)絡(luò)以及服務(wù)器上的Critic神經(jīng)網(wǎng)絡(luò)，用來(lái)響應(yīng)用戶端的更新Actor神經(jīng)網(wǎng)絡(luò)的請(qǐng)求。

2.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟a)中，視頻傳輸為動(dòng)態(tài)碼率視頻傳輸，其應(yīng)用場(chǎng)景包括點(diǎn)播場(chǎng)景以及直播場(chǎng)景；在點(diǎn)播場(chǎng)景中，使用符合Dash標(biāo)準(zhǔn)工具生成多碼率視頻，視頻被切成時(shí)間長(zhǎng)度相等的塊存儲(chǔ)在服務(wù)器上，每個(gè)視頻塊有多個(gè)可選的碼率；在直播場(chǎng)景中，多碼率對(duì)應(yīng)多組可供選擇的編碼參數(shù)，通過(guò)設(shè)置不同的編碼參數(shù)來(lái)提供多碼率視頻流。

3.根據(jù)權(quán)利要求2所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟a)中，在多碼率視頻點(diǎn)播場(chǎng)景中，用戶間視為競(jìng)爭(zhēng)與合作關(guān)系：各自希望得到在所處網(wǎng)絡(luò)條件下最好的視頻體驗(yàn)質(zhì)量并合理分配有限的服務(wù)器資源，使得所處用戶組的整體體驗(yàn)最好。

4.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟b)中，在點(diǎn)播情景中，使用符合Dash標(biāo)準(zhǔn)工具生成多碼率視頻，視頻被切成時(shí)間長(zhǎng)度相等的塊存儲(chǔ)在服務(wù)器上，每個(gè)視頻塊有多個(gè)可選的碼率；在直播場(chǎng)景中，多碼率對(duì)應(yīng)多組可供選擇的編碼參數(shù)，通過(guò)設(shè)置不同的編碼參數(shù)來(lái)提供多碼率視頻流。

5.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟c)中，網(wǎng)絡(luò)狀態(tài)信息包括：緩存時(shí)間、視頻塊大小以及網(wǎng)絡(luò)吞吐量。

6.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟d)中，用戶上傳的記錄包含在用戶請(qǐng)求服務(wù)器的數(shù)據(jù)中進(jìn)行傳輸。

7.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟d)中，用戶下載服務(wù)器上最新的Actor神經(jīng)網(wǎng)絡(luò)模型參數(shù)文件需要間隔固定的時(shí)間進(jìn)行，來(lái)不斷更新用戶端的Actor神經(jīng)網(wǎng)絡(luò)模型參數(shù)。

8.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法，其特征在于，所述步驟e)中，服務(wù)器為每個(gè)客戶保存并訓(xùn)練一個(gè)Actor神經(jīng)網(wǎng)絡(luò)；所述Critic神經(jīng)網(wǎng)絡(luò)可以觀測(cè)到所有用戶上傳的信息，可以觀測(cè)到全局的信息；在服務(wù)器訓(xùn)練過(guò)程中，使用多智能體深度確定性策略梯度算法的同時(shí)，結(jié)合深度強(qiáng)化學(xué)習(xí)的經(jīng)驗(yàn)回放以及目標(biāo)網(wǎng)絡(luò)的方法進(jìn)行訓(xùn)練。

9.實(shí)現(xiàn)如權(quán)利要求 1所述一種基于強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)碼率視頻傳輸方法的系統(tǒng)，包括：

用戶協(xié)商單元，用于根據(jù)視頻傳輸?shù)膽?yīng)用場(chǎng)景確定用戶間的關(guān)系并進(jìn)行分組；用戶間的關(guān)系包括三種：競(jìng)爭(zhēng)關(guān)系、合作關(guān)系、競(jìng)爭(zhēng)與合作關(guān)系；

資源調(diào)度單元，用于分配服務(wù)器資源給每個(gè)用戶，并監(jiān)控每個(gè)用戶組使用服務(wù)器資源情況，根據(jù)使用情況動(dòng)態(tài)調(diào)整用戶分組以及服務(wù)器資源；

網(wǎng)絡(luò)訓(xùn)練單元，用于在服務(wù)器上進(jìn)行集中式訓(xùn)練，在初始時(shí)提供不同應(yīng)用場(chǎng)景下的模型文件，并且進(jìn)行優(yōu)化網(wǎng)絡(luò)模型參數(shù)，實(shí)時(shí)訓(xùn)練并更新各用戶的Actor神經(jīng)網(wǎng)絡(luò)模型文件。