[發明專利]基于強化學習的多徑TCP傳輸調度方法

有效

• 申請號: 201910077608.7
• 申請日: 2019-01-26
• 公開（公告）號: CN109547505B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 張棟;何斌杰;周政演;朱丹紅
• 申請（專利權）人: 福州大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/26;G06N20/00;H04L12/709
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

本發明涉及一種基于強化學習的多徑TCP傳輸調度方法。該方法研究多徑TCP傳輸調度機制的特點，采用建立強化學習模型、訓練模型、部署模型的方式對多徑TCP傳輸調度進行控制，在訓練完成的強化學習模型部署在發送端主機之后，能夠準確的預測和調度傳輸中需要預留的數據包數目N。本發明相對傳統的多徑TCP調度方法，能夠更加準確的預測傳輸調度中需要預留的數據包數目N，并且時間開銷相對更小，多徑TCP傳輸的數據包亂序度更低。

技術領域

本發明涉及一種基于強化學習的多徑TCP傳輸調度方法。

背景技術

隨著網絡的不斷發展，人們對網絡傳輸的要求和期望越來越高，因此近年來涌現了一批新的協議用于網絡的多徑傳輸，以提高網絡傳輸的效能。多徑TCP協議就是一種基于TCP協議的多徑網絡傳輸協議，它的目的是能在保證TCP傳輸的有序性情況下，利用多徑傳輸加快TCP傳輸的速率。多徑TCP協議會為一個TCP傳輸請求產生多條子TCP連接用于傳輸TCP數據流，然而要使得數據包能夠通過所有子TCP連接進行傳輸并能夠保證在接收終端不產生大量數據包亂序，則要對多徑TCP傳輸時的數據包調度進行控制。主要是考慮到各條子鏈路的傳輸條件，合理分配TCP數據包進行傳輸，保證在不同鏈路上傳輸的數據包在接收終端按序到達。

現有較為常用的FPS、F2P-DPS、OCPS三種多徑TCP調度算法，其中OCPS是對前兩種算法種存在對不足進行改進。FPS，提出根據每一輪數據的往返的RTT和排隊時延情況，預測數據包到達的序號情況，從而來調度TCP子流的發送隊列。F2P-DPS則在FPS的基礎上增加考慮了鏈路的丟包情況，使得該調度策略更適合于無線傳輸網絡。OCPS認為FPS和F2P-DPS都只是單純的預測算法，在實際中鏈路傳輸還存在許多不確定因素會導致鏈路傳輸質量的變動，為了防止多輪調度后的誤差累計，提出使用子流級別的TCP選擇性應答(SelectiveAcknowledgement,SACK)判斷當前接收端亂序情況。發送端可以根據TCP SACK來判斷，上一輪調度預留給其他子流數據包是過多還是過少，再通過類似TCP慢啟動的方式產生一個修正因子，對下一輪調度進行修正。OCPS在FPS和F2P-DPS的基礎上，進一步增加了調度預測的準確和可靠性。然而，OCPS采用了類似TCP慢啟動的方式產生修正因子，這樣就導致要經過若干輪之后修正因子才可能達到比較合理的值，而這需要消耗一定時間，才能夠使得多徑TCP傳輸的吞吐率和亂序度達到一個穩定的、相對較優的值。因此我們在OCPS的基礎上提出了一種基于強化學習的多徑TCP調度方法，能夠在相對較短時間內能夠使得多徑TCP的吞吐率和亂序度達到一個穩定的、相對較優的值。

發明內容

本發明的目的在于提供一種基于強化學習的多徑TCP傳輸調度方法，該方法能夠更加準確的預測傳輸調度中需要預留的數據包數目N，并且時間開銷相對更小，多徑TCP傳輸的數據包亂序度更低。

為實現上述目的，本發明的技術方案是：一種基于強化學習的多徑TCP傳輸調度方法，包括構建強化學習模型階段、訓練強化學習模型階段、部署強化學習模型階段；構建強化學習模型階段，需要根據強化學習基礎模型和多徑TCP傳輸調度環境的需求確定四要素：智能體、環境狀態、行動、獎勵；訓練強化學習模型階段，將強化學習模型部署至多徑TCP運行環境中，具體即將強化學習模型部署在通信的發送端主機的多徑TCP層上，使用強化學習訓練算法對強化學習模型進行訓練；部署強化學習模型階段，按照訓練強化學習模型階段的部署的方案進行部署；該方法具體包括如下步驟：

步驟S1、確定在多徑TCP傳輸調度環境下強化學習模型的目標；

步驟S2、確定強化學習模型中智能體的組成部分；

步驟S3、確定強化學習模型中的環境狀態、行動、獎勵，以及相關計算反饋公式；

步驟S4、將強化學習模型部署至通信的發送端主機的多徑TCP層上，使用強化學習訓練算法進行訓練；

步驟S5、根據實際拓撲，將訓練完成的強化學習模型部署至多徑TCP的發送終端實際運行。