[發明專利]一種基于深度Q學習的路由規劃方法

有效

• 申請號: 201711002456.1
• 申請日: 2017-10-24
• 公開（公告）號: CN107911299B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李傳煌;吳艷;程成;錢正哲;金蓉;王偉明
• 申請（專利權）人: 浙江工商大學
• 主分類號: H04L12/751
• 分類號: H04L12/751
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開一種基于深度Q學習的路由規劃方法，該方法為：根據網絡拓撲生成獎勵值矩陣，使用一個訓練好的深度神經網絡模型代替普通Q學習的Q值表進行路由規劃。本發明利用了神經網絡抽象化高層數據、自動學習的特點，相比于傳統的Dijkstra算法，在大規模應用部署時能更快速地規劃出最短路徑。

技術領域

本發明涉及網絡通信技術和強化學習領域，具體涉及一種基于深度Q學習的路由規劃方法。

背景技術

近年來，社交網絡、移動互聯網和物聯網等領域正在快速發展，大數據正逐步成為當前關注的焦點。海量數據也對網絡服務質量提出了更高的要求。大數據依賴于事先定義好的計算模式，在集中化的管理架構下操作，通常存在著非常大量的數據傳輸以及聚合和劃分的操作。大數據每次聚合劃分操作都將會導致服務器之間有海量數據進行交換，從而需要極高網絡服務質量支持。傳統的網絡難以滿足云計算和大數據等相關業務所需要的資源需求。正是在上述背景下，SDN概念被大家逐漸廣泛接受和認可。

SDN的概念由美國斯坦福大學Clean Slate課題組第一次提出。SDN旨在實現網絡設備的數據層和控制層的徹底分離。數據層面只關注數據的傳輸，控制層面則關注網絡的管理。隨著控制層面需要管理的功能的逐步增多，學術界提出了將控制層管理系統化，抽象化。大致總結一下，SDN的精髓主要是把控制層面管理的復雜度以三種方式抽象出來：

第一種是分布狀態抽象。一個網絡當中的多個狀態主要是分散在各個路由器上面，路由器物理層面上的分散導致了處理上的困難。于是，分布狀態抽象所做的工作就是將分散在各處的路由器上大量復雜狀態抽象出來，然后向外部提供一個集中管理這些復雜狀態的方式。這樣其他部分就不需要一個一個路由器地去處理路由器查詢問題，它們處理的是一個集中化的任務，這便是分布狀態抽象。

第二種是網絡虛擬化。軟件定義網絡的目標就是希望網絡管理員可以通過開放的編程接口來表達自己管理網絡的實際需求。他們只要關心自己的網絡需求，而不需要去關注這些需求具體是如何被實現的。網絡控制程序不需要看到整個網絡的復雜拓撲，它看到的網絡只要復雜到能夠實現它的需求就可以。即你看到的網絡是一個虛擬的網絡，這便是網絡虛擬化。

第三種是轉發的抽象。SDN不僅僅要管理路由器上的狀態，同時也需要向路由器發送相應的處理指令。各路由器由于硬件上的差異，路由器設置的細節也不盡相同。轉發抽象要完成的工作就是忽略硬件上的差異，給外界抽象出一個統一的對所有路由器進行操作的界面。

要實現上述功能，通信協議非常關鍵，現在SDN中比較流行的是OpenFlow，OpenFLow在得到了OVS(Open Virtual Switch)的支持后獲得了廣泛的應用。OpenFlow通過多級流表實現對SDN中數據流的控制。

目前主流的SDN控制器如POX、FloodLight等均提供了完成數據包轉發的模塊，采用的也基本都是Dijkstra最短路徑算法。所有數據包的轉發如果都僅僅依賴于最短路徑算法將會帶來一個嚴重的問題，所有數據流很容易因為選擇同一條轉發路徑而聚集到一起，這極大降低了網絡率用率，同時也很容易導致網絡擁塞。因此，需要一個更好的路由策略來管理SDN網絡的路由?？刂破骷惺降墓芾砟Ｊ剑W絡數據流量的逐步增加，急需一種新的SDN網絡路由策略來保障網絡的服務質量。新的網絡路由策略不僅僅要考慮到面對海量數據的時候可以采用最短路徑算法找到一條最短轉發路徑。同時還需要考慮到網絡的可用帶寬、時延和延遲抖動等其他鏈路因素，綜合考慮網絡各種因素的影響，給數據包選擇出一條綜合最優的路由策略。