[發明專利]一種基于動態優先級的流量調度方法與系統

在審

• 申請號: 202310520976.0
• 申請日: 2023-05-10
• 公開（公告）號: CN116489104A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 黃嬋穎;許全義;顏克冬;尹丹;肖杉
• 申請（專利權）人: 南京理工大學
• 主分類號: H04L47/24
• 分類號: H04L47/24;H04L47/27;H04L47/525;H04L47/6275;H04L47/6295;H04L49/60
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種基于動態優先級的流量調度方法及系統，具體為：發送端根據SDN的網絡狀態信息計算每條流的剩余時間及優先級；智能決策層服務器使用MADDPG?Q算法對隊列閾值進行優化得到集中式訓練的模型；控制層SDN控制器將網絡狀態信息上報決策層服務器進行模型訓練后下發給交換機；轉發層可編程交換機通過模型和本地信息獲得多級反饋隊列閾值，對不同優先級的流分配不同的優先級隊列，完成流優先級調度；同時，對同一流優先級區間隊列中不同數據包優先級的數據包進行排序，在流優先級改變時調整數據包在隊列中的位置，實現動態優先級的隊列調度。本發明減少了系統平均流完成時間，能夠更好地適應復雜的分布式網絡應用。

技術領域

本發明涉及計算機網絡技術領域，特別是一種基于動態優先級的流量調度方法與系統。

背景技術

隨著信息技術的發展，數據規模逐漸增加，越來越多的應用開始向數據中心遷移。常用的分布式計算框架如Spark、MapReduce、Dryad等和常用的分布式存儲框架如Ceph、BigQuery等都一步一步被托管到數據中心上。通過高速數據中心網絡將計算或者存儲資源互聯，數據中心上的分布式應用有著更高的性能、更可靠和更靈活的管理方式。在高度互聯的數據中心基礎設施給應用帶來性能上提升的同時，這些應用也給數據中心網絡帶來新的挑戰。如何處理數量巨大、特征復雜的網絡流成為當前需要解決的難題。

在前所未有的龐大訓練數據支撐下訓練出來的復雜大規模模型精度高、表達能力強，可以有效逼近很多常規方法無法解決的困難問題的決策邊界。同時大數據、大規模模型也給人工智能帶來新的技術挑戰，越來越多的學者和研究機構開始研究分布式的機器學習技術，以便更充分利用大規模數據訓練出更準確的大模型。分布式訓練的迭代式算法和高頻率以及大數據量的參數通信的特點，且計算能力的增長遠遠領先于網絡傳輸能力，導致通信成本已經成為分布式機器學習平臺的性能瓶頸。

流調度的目標通常是保障每類服務中流量之間的公平性，使帶寬需求流量的吞吐量最大化，并且使延遲敏感流的完成時間最小化。研究數據中心網絡的流量特征，發現網絡中的數據流的大小差異較大，并服從重尾分布，且一般大象流為帶寬敏感型流量(大象流)，小流為延遲敏感型流量(老鼠流)。在網絡傳輸過程中，對不同數據流設置不同優先級進行有區別的調度，這對網絡資源的高效利用具有重大意義。

網絡中業務數量和流量分布經常變化，需要時常調整算法參數。由于流量和調度選路策略的隨機性，加上數據中心網絡交換機淺緩存的現狀，導致交換機隊列會隨機發生擁塞。換句話說，也就是在任何時候任何交換機都有可能發生隊列擁塞。隊列擁塞會使得數據包經歷很長的排隊延遲，增加了流的完成時間。由于靜態配置方式在頻繁操作下存在人工成本高、配置繁瑣等問題，傳統隊列調度算法難以實現細粒度流量控制，導致靜態的參數配置不適合動態的網絡流量需求。

發明內容

本發明的目的在于提供一種基于動態優先級的流量調度方法與系統，從而克服傳統流量調度中隊列閾值需要人工配置的繁瑣限制，并且能夠自適應不同的網絡流量分布情況。

實現本發明目的的技術解決方案為：一種基于動態優先級的流量調度方法，設置有發送端、智能決策層服務器、控制層SDN控制器、轉發層可編程交換機以及接收端，具體方法如下：

步驟1、在發送端以剩余流大小比上可用帶寬計算剩余時間，通過與多級反饋隊列閾值進行比較獲得流的優先級；

步驟2、智能決策層服務器通過MADDPG-Q算法，自適應地針對多級反饋隊列劃分隊列閾值進行計算和優化，得到集中式訓練的多級反饋隊列閾值更新模型；

步驟3、控制層SDN控制器連接底層硬件設備和智能決策層，控制器獲取全局的網絡狀態，為智能決策層服務器計算優化閾值提供所需信息，同時將智能決策層服務器訓練好的多級反饋隊列閾值更新模型下發給轉發層可編程交換機；