[發(fā)明專利]基于深度強化學習的MPTCP擁塞控制方法及其存儲介質

在審

• 申請?zhí)枺?/td>: 202110280940.0
• 申請日: 2021-03-16
• 公開（公告）號: CN113207147A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設計）人: 張嬌;黃程遠;黃韜;劉韻潔
• 申請（專利權）人: 網(wǎng)絡通信與安全紫金山實驗室;北京郵電大學
• 主分類號: H04W28/02
• 分類號: H04W28/02;H04L12/801;H04L12/807;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 徐曉鷺

本發(fā)明公開一直基于深度強化學習的MPTCP擁塞控制方法及其存儲介質，該方法基于神經(jīng)網(wǎng)絡的深度強化學習機制在多種網(wǎng)絡環(huán)境下造成的擁塞情況中進行學習策略，調整擁塞窗口，最終用來指導數(shù)據(jù)傳輸。該方法能夠自動化地產(chǎn)生符合不同應用需求的擁塞控制算法，實現(xiàn)端到端的性能優(yōu)化，解決擁塞控制算法和數(shù)據(jù)包調度程序的沖突問題。

技術領域

本發(fā)明屬于新一代通信技術領域，具體涉及基于深度強化學習MPTCP擁塞控制。

背景技術

在現(xiàn)今的網(wǎng)絡中智能終端通常配備有包括WiFi、3G/4G等多種網(wǎng)絡接口，以滿足設備在多種異構網(wǎng)絡中的數(shù)據(jù)接入要求。然而，基于傳統(tǒng)網(wǎng)絡架構和終端需求的單路徑TCP協(xié)議僅依靠一條單一的數(shù)據(jù)連接通路來傳輸信息，無法滿足多接入場景下的業(yè)務需求。為擴展傳統(tǒng)TCP以兼容已有網(wǎng)絡并適應新的應用場景，IETF工作組提出了多路徑TCP(MPTCP)協(xié)議，目的是通過重新規(guī)劃設計傳統(tǒng)TCP協(xié)議的內(nèi)部字段，使其能支持多路徑數(shù)據(jù)傳輸。MPTCP通過透明地使用多個路徑極大地提高了應用程序的性能，目前已被華為、亞馬遜、蘋果等公司廣泛應用于數(shù)據(jù)中心網(wǎng)絡、無線網(wǎng)絡、異構網(wǎng)絡等多個領域。

MPTCP的擁塞控制算法和數(shù)據(jù)包調度程序協(xié)同工作來消耗來自不同子路徑的池化的網(wǎng)絡資源，從而實現(xiàn)同一連接下多條子流數(shù)據(jù)的高效、可靠傳輸。然而，由于實際網(wǎng)絡部署中異構鏈特性的差異，現(xiàn)有的多徑擁塞控制機制存在緩沖區(qū)膨脹、帶寬利用率低等性能問題；與此同時，現(xiàn)有各種MPTCP協(xié)議實現(xiàn)方案中，擁塞控制算法與數(shù)據(jù)包調度程序的設計目標常常并不一致，這就可能造成兩者無法很好的配合工作，最終使得各自的功能無法充分發(fā)揮，進而阻礙整體應用程序性能的提高。

擁塞控制算法作為MPTCP設計和實現(xiàn)的重心，近年來受到廣泛關注。到目前為止，已經(jīng)有許多MPTCP擁塞控制算法被提出，以將來自不同子路徑的網(wǎng)絡資源聚合到一個統(tǒng)一的資源池中，典型代表有Coupled、LIA和BALIA，它們控制注入網(wǎng)絡的流量以達到諸如提高吞吐量、擁塞轉移等總體目標。最簡單的MPTCP擁塞控制算法是讓每個子流獨立地調整其CWND解耦擁塞控制，但存在不公平和擁塞不平衡的問題。LIA是MPTCP實現(xiàn)的默認擁塞控制算法，它綜合考慮丟包率和RTT，在多個傳輸路徑之間進行速率分配，但其性能往往會顯得激進，并可能損害其他部分的表現(xiàn)。BALIA則在LIA基礎上進行改進，在TCP友好性、響應性和窗口振蕩之間取得了良好的平衡。但大部分現(xiàn)有的擁塞窗口調整方法依賴于簡單的固定規(guī)則，缺乏適應廣泛的網(wǎng)絡條件和QoS目標的能力，此外這類MPTCP控制機制是被動的和補救的，不能主動優(yōu)化資源的使用。

MPTCP中最嚴重的性能問題之一是慢速子流造成的隊頭阻塞問題，具體來說，是指數(shù)據(jù)傳輸過程中，接收端在緩沖區(qū)有限的情形下因無法容納更多的數(shù)據(jù)，而主動通知發(fā)送方暫停傳輸?shù)默F(xiàn)象。該問題常見于路徑間RTT差異變化很大的場景，對網(wǎng)絡吞吐的損害極大。在MPTCP中，接收緩沖區(qū)的默認緩沖要求由式1給出，其中假設子流i能夠以bw_i的全速發(fā)送，由于對上層業(yè)務的數(shù)據(jù)交付需要保證連續(xù)性和完整性，接收端的數(shù)據(jù)在最慢路徑的數(shù)據(jù)(即RTT_max)到達之前都必須緩存在緩沖區(qū)，待完整接收后才能向應用程序傳遞連續(xù)數(shù)據(jù)。傳統(tǒng)TCP的緩沖區(qū)要求由式2確定，而不同子流之間的RTT差異性巨大，RTT_max往往可以比快速鏈路上大一個數(shù)量級，這就造成MPTCP對接收端緩存需求巨大，而在移動設備上緩存相對有限，所以相比之下MPTCP更容易發(fā)生隊頭阻塞。

發(fā)明內(nèi)容

本發(fā)明針對上述現(xiàn)有技術中存在的問題，本發(fā)明設計了一種基于深度強化學習的MPTCP擁塞控制算法--Partner，來自動化地產(chǎn)生符合不同應用需求的擁塞控制算法，實現(xiàn)端到端的性能優(yōu)化，解決擁塞控制算法和數(shù)據(jù)包調度程序的沖突問題。

為達到上述目的，本發(fā)明通過以下方案來實現(xiàn)：

提供基于深度強化學習的MPTCP擁塞控制方法，所述方法包括以下步驟：