[發明專利]網絡擁塞控制方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202010186408.8
• 申請日: 2020-03-17
• 公開（公告）號: CN111416774B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 周勇;熊俊杰;卿濟民;楊銳斌;徐本安;蘇聰
• 申請（專利權）人: 深圳市賽為智能股份有限公司;馬鞍山學院
• 主分類號: H04L47/10
• 分類號: H04L47/10;G06N3/084;G06N3/092
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 馮筠

1.網絡擁塞控制方法，其特征在于，包括：

獲取為每條數據流分配的速率后得到的獎勵所構成的矩陣，以得到執行獎勵矩陣，并對所述執行獎勵矩陣進行初始化；

獲取每條數據流分配的速率所對應的最大獎勵構成的矩陣，以得到最優獎勵矩陣，并對所述最優獎勵矩陣進行初始化；

在增強算法中的策略中隨機選擇當前鏈路的初始狀態；

在當前鏈路的初始狀態下，在數據流需要經過的鏈路中選擇對應獎勵最大的動作，根據所選擇的動作對數據流分配對應的速率，以得到新的執行獎勵矩陣以及新的鏈路狀態；

根據新的執行獎勵矩陣進行迭代，以得到新的最優獎勵矩陣；

判斷鏈路的所有狀態以及數據流分配對應的速率所構成的訓練集是否達到上限；

若鏈路的所有狀態以及數據流分配對應的速率所構成的訓練集達到上限，則采用使用BP神經網絡逼近器逼近新的最優獎勵矩陣所有的元素所對應的最優獎勵值，以得到目標矩陣；

根據所述目標矩陣進行網絡擁塞控制；

若鏈路的所有狀態以及數據流分配對應的速率所構成的訓練集未達到上限，則返回所述在增強算法中的策略中隨機選擇當前鏈路的初始狀態；

其中，所述BP神經網絡逼近器是通過鏈路的所有狀態以及數據流分配對應的速率所構成的訓練集訓練神經網絡所得的；

所述神經網絡包括輸入層、隱含層和輸出層；

所述BP神經網絡逼近器是通過鏈路的所有狀態以及數據流分配對應的速率所構成的訓練集訓練神經網絡所得的，包括：

獲取鏈路的所有狀態以及數據流分配對應的速率，以得到訓練集；

將所述訓練集中某一樣本輸入到神經網絡的輸入層，進行正向計算，以得到期望獎勵值；

計算所述樣本對應的最優獎勵矩陣中元素與期望獎勵值的誤差；

判斷所述誤差是否小于閾值；

若所述誤差不小于閾值，則使用梯度下降學習法進行神經網絡的權重更新，并執行所述將所述訓練集中某一樣本輸入到神經網絡的輸入層，進行正向計算，以得到期望獎勵值；

若所述誤差小于閾值，則判斷所述訓練集的樣本是否全部輸入到神經網絡的輸入層；

若所述訓練集的樣本是全部輸入到神經網絡的輸入層，則輸出所述期望獎勵值，以構成目標矩陣；

若所述訓練集的樣本未全部輸入到神經網絡的輸入層，則執行所述將所述訓練集中某一樣本輸入到神經網絡的輸入層，進行正向計算，以得到期望獎勵值。

2.根據權利要求1所述的網絡擁塞控制方法，其特征在于，所述使用梯度下降學習法進行神經網絡的權重更新，包括：

采用進行神經網絡的權重更新，其中，W′表示下一狀態更新的神經網絡的所有權重的參數向量，W表示當前神經網絡的所有權重的參數向量，α_N表示神經網絡的學習率，E為樣本對應的最優獎勵矩陣中元素與期望獎勵值的誤差。

3.根據權利要求1所述的網絡擁塞控制方法，其特征在于，所述根據所述目標矩陣進行網絡擁塞控制之后，還包括：

判斷增強學習算法中的策略所對應的狀態是否都訓練完畢；

若增強學習算法中的策略所對應的狀態都訓練完畢，則執行結束步驟；

若增強學習算法中的策略所對應的狀態未訓練完畢，則執行所述在增強算法中的策略中隨機選擇當前鏈路的初始狀態。

4.根據權利要求3所述的網絡擁塞控制方法，其特征在于，所述根據所述目標矩陣進行網絡擁塞控制，包括：

根據所述目標矩陣對每條數據流分配對應的速率，以得到運行情況；

判斷所述運行情況是否出現網絡擁塞；

若所述運行情況出現網絡擁塞，則執行所述在增強算法中的策略中隨機選擇當前鏈路的初始狀態；

若所述運行情況未出現網絡擁塞，則執行所述判斷增強學習算法中的策略所對應的狀態是否都訓練完畢。