[發明專利]SDN環境下基于深度強化學習的智能QoS路由優化方法、系統

有效

• 申請號: 202011266807.1
• 申請日: 2020-11-13
• 公開（公告）號: CN112491714B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 孔令彪;崔杰;楊明;仲紅;許艷;馬建峰
• 申請（專利權）人: 安徽大學
• 主分類號: H04L45/302
• 分類號: H04L45/302;H04L45/00;H04L45/16;H04L12/46;H04L47/12;G06N3/08
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

本發明公開一種SDN環境下基于深度強化學習的智能QoS路由優化方法、系統，首先將網絡中所有流媒體服務表示為一個服務請求集合，然后對其中每一個請求，從流媒體服務器到異構客戶端尋找滿足網絡服務質量的路徑，依次確定出每一個流請求的路由，最后采用一種QoS路由優化算法構建出組播樹。對于網絡擁塞鏈路或者是惡意節點，通過深度強化學習的方法可以尋找出當前最合適的下一節點進行路由。通過采用深度學習和強化學習結合的方法，本發明可以有效地減少視頻流的傳輸時延并提高路由決策的準確性。同時，本發明采用了分布式控制平面的設計，并可以在各種網絡拓撲在實現，不僅可以避免網絡網絡擁塞，提高了網絡的可擴展性，而且減少與單一控制器的交互，提高了網絡的整體效用。

技術領域

本發明屬于網絡路由優化技術，具體涉及一種SDN環境下基于深度強化學習的智能QoS路由優化方法、系統。

背景技術

近些年來，伴隨著互聯網的蓬勃發展，網絡應用越來越多，網絡流量呈爆炸式增長。隨著網絡規模和用戶數量的快速增長，網絡結構也越來越復雜，網絡安全和路由優化面臨著越來越大的挑戰。同時，針對異構終端用戶的新型網絡應用服務應運而生，例如，網絡電視，在線游戲，視頻會議等多媒體流應用在互聯網上變得越來越流行，網絡數據的急劇增加導致了網絡管理設備變量復雜。隨著網絡的靈活性的提升，也給網絡資源的管控帶來前所未有的挑戰。另外，在一些實時多媒體的應用場景當中，傳統網絡中的多媒體服務器僅憑單播模式將相同的視頻流傳輸到異構客戶端。但是，單播傳輸模式會產生冗余流量并浪費大量的網絡帶寬，因此，利用組播傳輸模式可以有效地減少網絡流量并降低網絡的負載。

在傳統網絡中，控制和轉發緊緊耦合的網絡架構與“盡力而為”的服務模式，需要在不同的路由節點上執行相關的路由協議和算法來找到源到目的節點的最佳路徑。正是因為傳統網絡分布式體系，使得每個節點只具有部分網絡視圖，導致很多全局的路由策略難以部署，所以很難進行智能QoS路由，而軟件定義網絡(Software-Define Networking)作為一種新的體系架構(如圖1所示)。

目前，在調研到的SDN環境下的智能QoS路由優化方案中，主要分為啟發式方法和機器學習方法兩種。通過建模來近似擬合當前的網絡狀態，并采用啟發式方法來為多媒體流請求實時計算路由配置，缺點是具有嚴格的適用場景，計算開銷巨大，難以應對未來實時高動態的網絡環境；然而，多媒體流應用，特別是實時視頻流應用，通常對視頻流的傳輸有嚴格的端到端的時延限制，從而保證用戶的網絡質量服務體驗。

與傳統方法相比，深度學習適用于處理不規則，大規模非線性問題，在許多復雜問題上具有無可比擬的優勢。同時，采用與網絡環境交互更好的深度強化學習模型，來實現網絡流量的實時智能控制。

因此，如何在SDN網絡架構下利用全局網絡拓撲視圖實現智能的QoS路由優化，在滿足QoS要求的同時，進而保障用戶的網絡服務質量體驗，成為當下研究需要解決的問題。

發明內容

發明目的：本發明的目的在于解決現有技術中存在的不足，提供一種SDN環境下基于深度強化學習的智能QoS路由優化方法、系統；本發明在SDN多媒體系統模型上基于深度強化學習算法設計的智能QoS路由優化方法，從而保證用戶的網絡服務質量體驗。由于在一些實時的視頻流應用場景中，不僅網絡業務具有高帶寬，而且用戶對端到端的時延也具有很嚴格的要求，因此，本發明無需專注SDN多媒體系統模型的設計。同時本發明使用了分布式控制平面的設計，從而解決了單點的脆弱性問題，同時提高網絡的可擴展性；另外，在QoS路由過程考慮了鏈路時延和網絡擁塞情況，從而有效地改善了網絡的負載。

技術方案：本發明的一種SDN環境下基于深度強化學習的智能QoS路由優化方法，包括以下步驟：

步驟S1：深度強化學習訓練