[發明專利]基于強化學習的ECN水線自適應配置方法

在審

• 申請號: 202310053878.0
• 申請日: 2023-02-03
• 公開（公告）號: CN115801708A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 盧漢成;包亮偉;吳楓
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04L49/111
• 分類號: H04L49/111;H04L47/56;G06N20/00
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;付久春

本發明公開了一種基于強化學習的ECN水線自適應配置方法，屬數據通信領域。方法包括：步驟1，將編程式交換機出端口隊列分為大象流隊列與老鼠流隊列，大象流隊列用同一組高帶寬ECN水線配置，老鼠流隊列用同一組低延遲ECN水線配置；步驟2，用編程式交換機的流表模板將出端口數據流分流為老鼠流與大象流，并放入對應的隊列；步驟3，用兩個預先訓練的強化學習模型部署兩個強化學習代理，對大象流隊列與老鼠流隊列各用對應的強化學習代理進行增量學習，用增量學習得到對應的強化學習代理按大象流隊列與老鼠流隊列對應動態調整ECN水線配置。該方法能自適應調整ECN水線配置，更好適應工作負載動態變化，保證網絡性能。

技術領域

本發明涉及數據通信領域，尤其涉及一種數據中心網絡下基于強化學習的ECN水線自適應配置方法。

背景技術

隨著云計算和?5G?等新型網絡技術的迅速發展，數據中心中的網絡流量呈現爆炸式增長的趨勢，以?ECN（explicit?congestion?notification，基于顯示反饋的協議）為基礎的擁塞控制協議在數據中心網絡中已經取得不錯的效果。如何高效地配置?ECN?標記閾值是其中最關鍵的一部分。在廣泛應用的基于ECN的擁塞控制方案中，標記閾值是實現高帶寬和低延遲的關鍵。然而，由于高速生產網絡中的流量動態，使用靜態ECN很難保持持久的性能。

大流量數據傳遞通常稱為大象流，是指通過網絡鏈路進行大量的，持續的數據傳遞的過程，如虛機的遷移，數據的遷移，MapReduce等都屬于大象流；小流量數據傳遞通常稱為老鼠流，是指通過網絡鏈路進行少量的，短時間的數據傳遞過程，如發郵件，看網頁，聊微信這些都是屬于老鼠流；也可以這樣理解，在數據中心中，整體趨勢是20%的大象流占用了80%的網絡帶寬，80%的老鼠流占用20%的網絡帶寬。在數據中心內部，要考慮如何避免大象流對老鼠流的影響，因為老鼠流代表了大部分的應用。老鼠流的流完成時間主要由延遲決定，大象流的流完成時間由吞吐量決定，短隊列長度有助于減少延遲，長隊列長度有助于確保吞吐量；若對于每個隊列使用強化學習代理采取一套配置，不夠現實，交換機支持的ECN組合數可能不夠，每個隊列采取一套配置對系統資源消耗過大。

現有的基于強化學習的自適應ECN調優方法，未能對數據流進行大小流區分，無法實現使不同類型的流隊列自適應調整ECN水線配置，不能滿足不同種類流量對于帶寬和時延的要求，即無法滿足大象流希望隊列長度長，帶寬高；老鼠流偏向于短隊列，時延低的要求。

有鑒于此，特提出本發明。

發明內容

本發明的目的是提供了一種基于強化學習的ECN水線自適應配置方法，能在數據中心網絡下，對復雜的數據流量區分大小流，并動態配置大小流隊列ECN水線，以保證大象流高吞吐量、老鼠流低延遲的需求，進而解決現有技術中存在的上述技術問題。

本發明的目的是通過以下技術方案實現的：

一種基于強化學習的ECN水線自適應配置方法，包括：

步驟1，將編程式交換機出端口隊列分為大象流隊列與老鼠流隊列，大象流隊列使用同一組高帶寬ECN水線配置，老鼠流隊列使用同一組低延遲ECN水線配置；

步驟2，利用所述編程式交換機的流表模板判斷該編程式交換機出端口數據流是大象流還是老鼠流，將判斷確定為老鼠流的數據流放入老鼠流隊列，將判斷確定為大象流的數據流放入大象流隊列；

步驟3，利用兩個預先訓練的強化學習模型分別對應大象流隊列與老鼠流隊列，在編程式交換機上部署兩個強化學習模型的強化學習代理，讓大象流隊列與老鼠流隊列各使用一個強化學習代理進行各自對應強化學習模型的增量學習，通過增量學習后的各自對應的強化學習代理按大象流隊列與老鼠流隊列動態調整ECN水線配置，為大象流隊列使用高帶寬ECN水線配置，為老鼠流隊列使用低延遲ECN水線配置。

與現有技術相比，本發明所提供的基于強化學習的ECN水線自適應配置方法，其有益效果包括：