[發明專利]一種基于深度強化學習的MPTCP動態編碼調度方法和系統

有效

• 申請號: 202110783870.0
• 申請日: 2021-07-12
• 公開（公告）號: CN113595684B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 廖彬彬;劉文;張廣興;李振宇
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: H04L1/00
• 分類號: H04L1/00;H04L69/04;G06V10/82
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種網絡動態編碼調度系統，所述網絡包括多條子流，所述系統包括編碼器、調度器和深度多路徑編碼調度裝置，所述深度多路徑編碼調度裝置包括DDPG深度神經網絡和Transformer深度神經網絡，其中，

所述Transformer深度神經網絡用于對所述子流的網絡狀態空間進行轉換，輸入到所述DDPG深度神經網絡，得到用于數據包的編碼率和分配比率，

編碼器用于根據輸入的編碼率進行編碼，

調度器用于根據輸入的分配比率將編碼后的數據包分配給各子流；

其中，所述深度多路徑編碼調度裝置是通過訓練得到的，所述訓練包括將多子流實時狀態的網絡狀態空間輸入轉化為當前狀態下的數據包編碼率和分配比率，最大化接收端的OQS定義的反饋函數，以及通過梯度下降的方法訓練直到收斂；其中，對于時刻t：

Transformer深度神經網絡的狀態空間為s_t=(s_t1,s_t2,...s_ti...s_tn)，其中s_ti是第i條子流TCP層的屬性參數元組，i=1,2,…n，n為子流數，s_ti為元組(d_ti, c_ti, b_ti, l_ti, w_ti, k_ti)，其中d_ti為TCP子流i的往返時延，c_ti為TCP子流i的擁塞窗口，b_ti為TCP子流i的數據包交付速率，l_ti為TCP子流i的數據包丟失率，w_ti為TCP子流i的接收窗口，k_ti為TCP子流i的MPTCP連接級別的數據包確認數量；以及

DDPG的動作空間a_t為(e_t,p_t1,p_t2...p_ti...p_tn)，n為子流數，其中e_t為時刻t，編碼器的輸入編碼率，p_t1,p_t2...p_ti...p_tn為各子流的數據包的分配比率。