[發(fā)明專利]擁塞控制模型的訓(xùn)練方法和裝置及擁塞控制方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011611779.2
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112770353B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 周超;陳艷姣
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué);北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): H04W28/02
• 分類號(hào): H04W28/02;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 蘇銀虹;曾世驍

本公開關(guān)于一種擁塞控制模型的訓(xùn)練方法和裝置及擁塞控制方法和裝置。所述訓(xùn)練方法包括：利用近端策略優(yōu)化算法，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，對(duì)擁塞控制模型進(jìn)行訓(xùn)練，以生成多個(gè)訓(xùn)練好的擁塞控制模型；從所述多個(gè)訓(xùn)練好的擁塞控制模型中選擇一個(gè)擁塞控制模型，作為用于第一目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞控制模型；其中，所述擁塞控制模型的輸入為所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，輸出為擁塞窗口大小調(diào)節(jié)動(dòng)作。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地說，涉及一種擁塞控制模型的訓(xùn)練方法和裝置及擁塞控制方法和裝置。

背景技術(shù)

隨著5G和移動(dòng)互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和互聯(lián)網(wǎng)應(yīng)用程序的快速增加，在為人們帶來生活便利和提高體驗(yàn)質(zhì)量的同時(shí)，也對(duì)網(wǎng)絡(luò)性能提出了新的要求。尤其是在計(jì)算機(jī)網(wǎng)絡(luò)的擁塞控制方面，需要根據(jù)網(wǎng)絡(luò)的時(shí)延變化、超時(shí)重傳的分組數(shù)以及被丟棄的分組的百分?jǐn)?shù)等網(wǎng)絡(luò)指標(biāo)，不斷調(diào)整網(wǎng)絡(luò)模型的擁塞窗口，進(jìn)而控制網(wǎng)絡(luò)鏈路中的數(shù)據(jù)包數(shù)量，避免網(wǎng)絡(luò)發(fā)生擁塞，使網(wǎng)絡(luò)的帶寬資源得到有效利用，為用戶提供高質(zhì)量的服務(wù)體驗(yàn)。計(jì)算機(jī)網(wǎng)絡(luò)擁塞控制協(xié)議作為網(wǎng)絡(luò)傳輸層最重要的協(xié)議，能夠提高網(wǎng)絡(luò)吞吐量、降低數(shù)據(jù)傳輸時(shí)延和降低數(shù)據(jù)丟包率等網(wǎng)絡(luò)性能，已成為計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域的研究熱點(diǎn)和進(jìn)一步發(fā)展的重要方向。

隨著網(wǎng)絡(luò)服務(wù)和應(yīng)用程序(實(shí)時(shí)視頻、AR/VR、邊緣計(jì)算、物聯(lián)網(wǎng)等)的需求越來越高，以及網(wǎng)絡(luò)用戶數(shù)量的急劇增加，對(duì)網(wǎng)絡(luò)的性能要求越來越高。而當(dāng)前普遍使用的TCP擁塞控制協(xié)議的性能在不斷下降，而且傳統(tǒng)TCP的性能在網(wǎng)絡(luò)吞吐量、時(shí)延、數(shù)據(jù)丟包率以及BDP方面無法滿足快速發(fā)展的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化，影響了網(wǎng)絡(luò)的發(fā)展。隨著5G技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)環(huán)境將變得更加復(fù)雜和多樣化。擁塞控制協(xié)議是避免網(wǎng)絡(luò)擁塞并改善網(wǎng)絡(luò)服務(wù)的重要方法，它對(duì)網(wǎng)絡(luò)性能和服務(wù)質(zhì)量(QoS)有非常重要的影響。如果現(xiàn)有的擁塞控制技術(shù)不加以改進(jìn)優(yōu)化，未來將會(huì)產(chǎn)生更嚴(yán)重的網(wǎng)絡(luò)擁塞。除此之外，現(xiàn)有的擁塞控制協(xié)議由于其不可遷移性，當(dāng)面對(duì)不同的網(wǎng)絡(luò)場(chǎng)景時(shí)，無法為各種網(wǎng)絡(luò)場(chǎng)景提供所需的性能。

發(fā)明內(nèi)容

本公開提供一種擁塞控制模型的訓(xùn)練方法和裝置及擁塞控制方法和裝置，以至少解決上述相關(guān)技術(shù)中的問題，也可不解決任何上述問題。

根據(jù)本公開實(shí)施例的第一方面，提供一種擁塞控制模型的訓(xùn)練方法，包括：利用近端策略優(yōu)化算法，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，對(duì)擁塞控制模型進(jìn)行訓(xùn)練，以生成多個(gè)訓(xùn)練好的擁塞控制模型；從所述多個(gè)訓(xùn)練好的擁塞控制模型中選擇一個(gè)擁塞控制模型，作為用于第一目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞控制模型；其中，所述擁塞控制模型的輸入為所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，輸出為擁塞窗口大小調(diào)節(jié)動(dòng)作。

可選地，所述訓(xùn)練方法還可包括：從所述多個(gè)訓(xùn)練好的擁塞控制模型中選擇至少一個(gè)擁塞控制模型；利用微調(diào)算法，將所述至少一個(gè)擁塞控制模型在第二目標(biāo)網(wǎng)絡(luò)環(huán)境下進(jìn)行訓(xùn)練；將訓(xùn)練好的所述至少一個(gè)擁塞控制模型中的一個(gè)擁塞控制模型作為用于第二目標(biāo)網(wǎng)絡(luò)環(huán)境的擁塞控制模型。

可選地，所述網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)可包括網(wǎng)絡(luò)時(shí)延、傳送率、發(fā)送率和擁塞窗口大小。

可選地，所述利用近端策略優(yōu)化算法，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，對(duì)擁塞控制模型進(jìn)行訓(xùn)練，可包括：針對(duì)每個(gè)訓(xùn)練回合執(zhí)行以下操作：每隔預(yù)定步長(zhǎng)，基于從第一目標(biāo)網(wǎng)絡(luò)環(huán)境獲取的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，利用目標(biāo)函數(shù)，對(duì)所述擁塞控制模型的參數(shù)進(jìn)行更新，直到該訓(xùn)練回合結(jié)束，其中，所述目標(biāo)函數(shù)是預(yù)先設(shè)計(jì)的用于對(duì)所述擁塞控制模型進(jìn)行訓(xùn)練的函數(shù)；在該訓(xùn)練回合結(jié)束時(shí)，生成一個(gè)擁塞控制模型；其中，在下一個(gè)訓(xùn)練回合開始時(shí)，將其上一個(gè)訓(xùn)練回合生成的擁塞控制模型作為初始擁塞控制模型。