[發明專利]一種基于深度強化學習的軟件定義網絡路由方法

在審

• 申請號: 202211470562.3
• 申請日: 2022-11-23
• 公開（公告）號: CN116599885A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 蔣昌俊;閆春鋼;丁志軍;王俊麗;張亞英;柯宇
• 申請（專利權）人: 同濟大學
• 主分類號: H04L45/00
• 分類號: H04L45/00;H04L47/80;H04L47/12;H04L41/14;H04L41/40
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 褚曉英

本發明公開了一種基于深度強化學習的軟件定義網絡路由方法，包括：基于網絡實際運行參數，根據大流優先調度的原則和任務目標分別對網絡流信息進行狀態設計和動作設計；基于軟件定義網絡SDN控制器獲取的網絡帶寬數據構建網絡擁塞模型；根據網絡擁塞模型和網絡QoS數據進行獎勵設計，并結合狀態設計和動作設計訓練強化學習模型；強化學習模型基于實際網絡流的狀態值實現路由的選擇。本發明利用強化學習作為整個方法的主體框架，通過對網絡中大象流優先調度，在原始帶寬數據的基礎上，基于大流優先調度進行強化模型的狀態設計，提高了網絡各項QoS指標，進一步結合網絡擁塞模型提高強化學習模型的訓練效果。

技術領域

本發明涉及軟件定義網絡路由的技術領域，尤其涉及一種基于深度強化學習的軟件定義網絡路由方法。

背景技術

路由是軟件定義網絡SDN領域中一類重要任務，該類任務旨在為SDN中的網絡流選擇最合適的轉發路徑，在網絡管理中有廣泛的應用。其中，傳統方法主要是傳統路由策略在SDN網絡下的實現，以及將路由問題構建成優化問題并設計啟發式算法求解。與傳統方法相比，基于機器學習的方法更靈活且能獲得更好的QoS指標，由于基于強化學習RL的方法不需要標簽數據，能自主學習故相比基于監督學習的方法更適合用來解決路由問題。

基于RL的路由任務中，關鍵步驟是設計狀態空間、動作空間和獎勵值并選擇合適的強化學習算法，目前方法大多基于值函數或者策略梯度的強化學習算法實現，一部分方法考慮整個網絡狀態信息來設計狀態空間，將鏈路權重矩陣作為動作輸出，提出了基于深度確定性策略梯度DDPG的路由方法，其考慮網絡狀態的周期性并用遞歸神經網絡RNN來捕獲特性，還有方法考慮網絡中TCAM資源的限制，將已分配資源和資源需求作為狀態空間的一部分來設計狀態，用DDQN進行實現。這些方法考慮了整個網絡狀態，導致狀態空間過大難以收斂。另外一部分方法只考慮網絡中的流或者交換機作為狀態，以為流選擇下一跳或者路由路徑作為動作，以網絡QoS作為獎勵值來設計強化學習模型，降低了模型訓練難度，進一步提高了模型的可擴展性。但這些模型沒有考慮大流對環境的影響而且訓練時沒有挖掘現有網絡數據的潛在信息，導致模型訓練性能不佳。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明提供了一種基于深度強化學習的軟件定義網絡路由方法解決現有的訓練學習方法不能考慮大流對環境的影響，且訓練時無法挖掘現有網絡數據的潛在信息，導致學習模型訓練性能差的問題。

為解決上述技術問題，本發明提供如下技術方案：

本發明實施例提供了一種基于深度強化學習的軟件定義網絡路由方法，包括：

基于網絡實際運行參數，根據大流優先調度的原則和任務目標分別對網絡流信息進行狀態設計和動作設計；

基于軟件定義網絡SDN控制器獲取的網絡帶寬數據構建網絡擁塞模型；

根據所述網絡擁塞模型和網絡QoS數據進行獎勵設計，并結合所述狀態設計和所述動作設計訓練強化學習模型；

所述強化學習模型基于實際網絡流的狀態值實現路由的選擇。

作為本發明所述的基于深度強化學習的軟件定義網絡路由方法的一種優選方案，其中：所述狀態設計包括：基于大流優先調度原則，為網絡中每個網絡流設計一個狀態；

所述狀態設計可表示為：

s_i＝(src,dst,seq)

其中，src和dst分別為流的源節點和目標節點，seq為該流在所有流中的相對大小。