[發(fā)明專(zhuān)利]擁塞控制模型的訓(xùn)練方法和裝置及擁塞控制方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011611779.2
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112770353B
• 公開(kāi)（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 周超;陳艷姣
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢大學(xué);北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類(lèi)號(hào): H04W28/02
• 分類(lèi)號(hào): H04W28/02;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 蘇銀虹;曾世驍

1.一種擁塞控制模型的訓(xùn)練方法，其特征在于，包括：

利用近端策略優(yōu)化算法，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，對(duì)擁塞控制模型進(jìn)行訓(xùn)練，以生成多個(gè)訓(xùn)練好的擁塞控制模型，其中，所述擁塞控制模型的輸入為所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，輸出為擁塞窗口大小調(diào)節(jié)動(dòng)作；

從所述多個(gè)訓(xùn)練好的擁塞控制模型中選擇一個(gè)擁塞控制模型，作為用于第一目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞控制模型；

從所述多個(gè)訓(xùn)練好的擁塞控制模型中選擇至少一個(gè)擁塞控制模型；

利用微調(diào)算法，通過(guò)與第二目標(biāo)網(wǎng)絡(luò)環(huán)境的交互，將所述至少一個(gè)擁塞控制模型在第二目標(biāo)網(wǎng)絡(luò)環(huán)境下進(jìn)行訓(xùn)練；

將訓(xùn)練好的所述至少一個(gè)擁塞控制模型中的一個(gè)擁塞控制模型作為用于第二目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞控制模型。

2.如權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)包括網(wǎng)絡(luò)時(shí)延、傳送率、發(fā)送率和擁塞窗口大小。

3.如權(quán)利要求1所述的訓(xùn)練方法，其特征在于，所述利用近端策略優(yōu)化算法，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，對(duì)擁塞控制模型進(jìn)行訓(xùn)練，包括：

針對(duì)每個(gè)訓(xùn)練回合執(zhí)行以下操作：

每隔預(yù)定步長(zhǎng)，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，利用目標(biāo)函數(shù)，對(duì)所述擁塞控制模型的參數(shù)進(jìn)行更新，直到該訓(xùn)練回合結(jié)束，其中，所述目標(biāo)函數(shù)是預(yù)先設(shè)計(jì)的用于對(duì)所述擁塞控制模型進(jìn)行訓(xùn)練的函數(shù)；

在該訓(xùn)練回合結(jié)束時(shí)，生成一個(gè)擁塞控制模型；

其中，在下一個(gè)訓(xùn)練回合開(kāi)始時(shí)，將其上一個(gè)訓(xùn)練回合生成的擁塞控制模型作為初始擁塞控制模型。

4.如權(quán)利要求3所述的訓(xùn)練方法，其特征在于，所述每隔預(yù)定步長(zhǎng)，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，利用目標(biāo)函數(shù)，對(duì)所述擁塞控制模型的參數(shù)進(jìn)行更新，包括：

每隔所述預(yù)定步長(zhǎng)，執(zhí)行以下操作：

與第一目標(biāo)網(wǎng)絡(luò)環(huán)境交互以獲得網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)；

基于所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，利用所述擁塞控制模型，獲得擁塞窗口大小調(diào)節(jié)動(dòng)作；

基于所述擁塞窗口大小調(diào)節(jié)動(dòng)作，獲得獎(jiǎng)勵(lì)函數(shù)的值，其中，所述獎(jiǎng)勵(lì)函數(shù)是用于評(píng)價(jià)所述擁塞窗口大小調(diào)節(jié)動(dòng)作的優(yōu)劣的函數(shù)；

基于所述獎(jiǎng)勵(lì)函數(shù)的值，計(jì)算優(yōu)勢(shì)函數(shù)的值，其中，所述優(yōu)勢(shì)函數(shù)是用于評(píng)價(jià)當(dāng)前的網(wǎng)絡(luò)狀態(tài)下所述擁塞窗口大小調(diào)節(jié)動(dòng)作的效用相對(duì)于當(dāng)前的網(wǎng)絡(luò)狀態(tài)下各擁塞窗口大小調(diào)節(jié)動(dòng)作的平均效用的優(yōu)劣的函數(shù)；

基于所述優(yōu)勢(shì)函數(shù)的值，計(jì)算目標(biāo)函數(shù)的值；

對(duì)所述擁塞控制模型的參數(shù)進(jìn)行更新以使所述目標(biāo)函數(shù)的值最大化。

5.如權(quán)利要求4所述的訓(xùn)練方法，其特征在于，所述基于所述擁塞窗口大小調(diào)節(jié)動(dòng)作，獲得獎(jiǎng)勵(lì)函數(shù)的值，包括：

在基于所述擁塞窗口大小調(diào)節(jié)動(dòng)作調(diào)節(jié)第一目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞窗口的大小后，從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取吞吐量數(shù)據(jù)、網(wǎng)絡(luò)時(shí)延數(shù)據(jù)、丟包率數(shù)據(jù)；

基于吞吐量數(shù)據(jù)、網(wǎng)絡(luò)時(shí)延數(shù)據(jù)、丟包率數(shù)據(jù)計(jì)算獎(jiǎng)勵(lì)函數(shù)的值。

6.如權(quán)利要求5所述的訓(xùn)練方法，其特征在于，所述獎(jiǎng)勵(lì)函數(shù)被表示為：

Reward(t′)＝α×tput(t′)-β×RTT(t′)-γ×loss_rate(t′)，

其中，Reward(t′)表示t′時(shí)刻的獎(jiǎng)勵(lì)函數(shù)的值，tput(t′)表示t′時(shí)刻的吞吐量、RTT(t′)表示t′時(shí)刻的網(wǎng)絡(luò)時(shí)延，loss_rate(t′)表示t′時(shí)刻的丟包率，α、β和γ分別表示吞吐量、網(wǎng)絡(luò)時(shí)延和丟包率的權(quán)重值。

7.如權(quán)利要求4所述的訓(xùn)練方法，其特征在于，所述基于所述獎(jiǎng)勵(lì)函數(shù)的值，計(jì)算優(yōu)勢(shì)函數(shù)的值，包括：

基于每個(gè)時(shí)刻的獎(jiǎng)勵(lì)函數(shù)的值以及步長(zhǎng)前后的決策影響程度，計(jì)算優(yōu)勢(shì)函數(shù)的值。