[發明專利]一種基于深度強化學習的Coflow調度方法

有效

• 申請號: 202010472169.2
• 申請日: 2020-05-29
• 公開（公告）號: CN111740925B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 李巍;孫禹康;陳天霸;李云春
• 申請（專利權）人: 北京航空航天大學
• 主分類號: H04L12/865
• 分類號: H04L12/865;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 鄧治平;賈玉忠

1.一種基于深度強化學習的Coflow調度方法，應用于大數據框架下網絡通信的優化，其特征在于，包括如下步驟：

1)建立Coflow調度的馬爾可夫模型，具體包括構造網絡環境狀態、控制器動作以及獎勵函數；

2)對Coflow通信流量進行回放，構建流量環境，用于對馬爾可夫模型進行訓練；

3)在Coflow通信環境中，對定義的馬爾可夫模型進行重復迭代訓練，得到符合標準的策略函數；

4)將所得策略函數應用至網絡環境中；

其中，所述步驟1)中構造網絡環境狀態、控制器動作以及獎勵函數具體為：

設置{Size_i，Total_Count_i，Active_Count_i，Duration_i}作為當前網絡環境中任意一個Coflow的狀態描述，Size_i為第i個Coflow中所有通信流已發送的數據量大小之和，Total_Count_i為第i個Coflow中包含的通信流個數，Active_Count_i為第i個Coflow中包含的活躍通信流個數，Duration_i為第i個Coflow自開始發送到進行采集時的持續時間，即當前時間減去第i個Coflow的開始時間；挑選環境中已發送數據量大小最大的M個尚未完成的Coflow，將其狀態描述作為行向量，組合成狀態矩陣：

若尚未完成發送的Coflow數量小于M，則使用零行向量對狀態矩陣進行填充；

設置一組閾值的集合{Threshold₁,Threshold₂,...,Threshold_n,...,Threshold_N}作為控制器的動作，用于調整多級優先隊列中各個隊列的閾值劃分，Threshold_n為網絡中多級優先隊列的第n個子隊列的最高最低閾值差，n表示隊列的標識號，n∈N；

對于任意一個周期，采集所有Coflow的持續時間為：

其中是第T周期采集的第一個Coflow的持續時間；

是第T個周期采集的第b個Coflow持續時間，

是第T個周期采集的最后一個Coflow持續時間,B是第T個周期采集的Coflow持續時間數量；

計算Coflow持續時間的平均值為相鄰兩個周期的Coflow平均持續時間之差Diff＝Duration_Average^T-Duration_Average^T+1，設置獎勵函數為Reward＝log(Diff+C)，C是補正因子。

2.根據權利要求1所述的基于深度強化學習的Coflow調度方法，其特征在于，所述步驟3)具體包含以下步驟：

31)將策略函數中的各項參數設置為默認數值，即設置默認策略；

32)從網絡環境中周期性采樣Coflow信息，生成狀態參數；

33)在任意一個周期中，依據策略函數，對當前的環境狀態應用相應的動作，并產生新的網絡環境狀態，即狀態轉移；

34)依據狀態的變化，計算相應的獎勵函數值，并對采取的動作進行評價，用于表示所選動作的實施效果；

35)依據評價結果，對策略函數中的參數進行修改，調整從狀態到動作的映射準則；

36)重復執行步驟32)至35)，直至Coflow平均完成時間小于規定閾值。

3.根據權利要求1所述的基于深度強化學習的Coflow調度方法，其特征在于，所述步驟4)具體包括：

網絡環境中存在一個控制器，自大數據應用開始執行起，通過調用大數據框架API，分析系統日志以及查詢網絡器件，周期性對網絡環境進行采樣，生成多級優先隊列的閾值設置，并進行應用，改變帶寬分配策略。

4.根據權利要求1所述的基于深度強化學習的Coflow調度方法，其特征在于，所述步驟2)具體包括以下步驟：

21)在實際生產環境中提取集群通信相關信息；

22)依據采集到的Coflow通信信息，以預先定義好的格式，生成流量軌跡文件，對流量進行記錄；

23)依據流量軌跡文件對Coflow進行流量回放，生成Coflow通信模型，用于馬爾可夫模型訓練。