[發明專利]一種基于深度強化學習的MPTCP動態編碼調度方法和系統

有效

• 申請號: 202110783870.0
• 申請日: 2021-07-12
• 公開（公告）號: CN113595684B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 廖彬彬;劉文;張廣興;李振宇
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: H04L1/00
• 分類號: H04L1/00;H04L69/04;G06V10/82
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種網絡動態編碼調度系統，所述網絡包括多條子流，所述系統包括編碼器、調度器和深度多路徑編碼調度裝置，所述深度多路徑編碼調度裝置包括DDPG深度神經網絡和Transformer深度神經網絡，其中，所述Transformer深度神經網絡用于對所述子流的網絡狀態空間進行轉換，輸入到所述DDPG深度神經網絡，得到用于數據包的編碼率和分配比率，編碼器用于根據輸入的編碼率進行編碼，調度器用于根據輸入的分配比率將編碼后的數據包分配給各子流。基于本發明的實施例，可以實現編碼器和調度器能力的完美融合，從而更加適應動態復雜的多路徑網絡環境。

技術領域

本發明涉及計算機網絡傳輸控制領域，具體地說，本發明涉及一種基于深度強化學習的MPTCP動態編碼調度方法和系統。

背景技術

MPTCP傳輸協議自2013年由IETF工作組標準化以來，已經受到了工業界和學術界的廣泛關注和研究。由于其固有的多鏈路帶寬聚合能力和單鏈路故障恢復能力，MPTCP已經被應用于加速眾多的數據交互場景(如：文件傳輸、Web瀏覽、和視頻推流等)。尤其在移動互聯網的背景下，內核裝載MPTCP的移動設備可以同時利用WiFi和蜂窩無線網絡來提高移動應用程序的網絡服務健壯性和傳輸質量保障。

影響MPTCP整體性能的一個重要因素是其數據包調度程序的設計和實現，它需要根據特定的策略在有效的TCP子流上分配合適的數據包數量。已有的研究表明，錯誤的數據包調度決策將會導致MPTCP嚴重的性能問題。尤其在多變的無線網絡環境中，由于TCP子流的狀態特別容易遭受網絡擁塞和數據包隨機丟失的影響，這使得MPTCP連接上的多條TCP子流之間的性能差異變得十分巨大。而這種網絡的異構性主要表現為分發到較快子流上的數據包必須等待較慢子流上的數據包，這便造成了發送端數據的隊頭阻塞現象(Head-of-Line Blocking,HoL)和接收端的數據包的亂序隊列(Out-of-order Queue)問題。因此，如何最小化接收端的數據包 OQS(Out-of-order Queue Size)亂序隊列大小成為提升MPTCP整體性能的關鍵。

實際上，當MPTCP所有的子流都相對正常或異構性不太明顯時，設計一個合理的數據包調度器便能夠實現多子流的正常傳輸，并緩解MPTCP 的隊頭阻塞與亂序問題。然而，如果存在某些TCP子流在網絡質量上具有很高的多樣性時(如：劇烈的丟包損耗、網絡擁塞或延遲抖動等)，僅依靠調度器是無法適應這種異構網絡的劇烈變化，并實現數據包的快速恢復的。考慮到使用網絡編碼的方法可以根據TCP子流的網絡狀態，實現超時或丟包的0-RTT快速恢復，在進行數據包調度之前增加一個網絡編碼的過程，可以使得MPTCP不僅能夠在相對穩定的網絡環境中獲得可觀的性能提升，而且還能快速地適應網絡的劇烈變化。

然而，基于網絡編碼的數據包調度系統將主要面臨如下兩個挑戰，首先數據包的編碼率需要隨著MPTCP所有TCP子流網絡狀態的相對變化而改變，例如：當所有的子流都比較穩定時使用較低的編碼率，而當部分子流出現明顯的擁塞或丟包時則需要提升數據包的編碼率。其次，數據包調度器也需要通過衡量所有TCP子流的相對差異來確定分配編碼后的數據包到每條子流的數量。也就是說，無論是網絡編碼器還是數據包調度器都需要根據所有TCP子流的網絡狀態來決定其采取的動作。然而，決定TCP 子流狀態的因素眾多(如：丟包率、擁塞窗口、時延抖動等等等)，這將導致MPTCP多TCP子流組成的狀態空間十分巨大。而且這些因素隨著時間的變化可能是線性的也可能是非線性的，甚至可能不符合任何數學分布規律。因此基于數學建模的方法來人工擬合一個函數模型以匹配MPTCP 的子流狀態到其對應的全局最優編碼和調度動作幾乎是不可能的。

發明內容

本發明針對上述問題，根據本發明的第一方面，提出一種網絡動態編碼調度系統，所述網絡包括多條子流，所述系統包括編碼器、調度器和深度多路徑編碼調度裝置，所述深度多路徑編碼調度裝置包括DDPG深度神經網絡和Transformer深度神經網絡，其中，

所述Transformer深度神經網絡用于對所述子流的網絡狀態空間進行轉換，輸入到所述DDPG深度神經網絡，得到用于數據包的編碼率和分配比率，