[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的SDN多路徑路由規(guī)劃方法

有效

• 申請?zhí)枺?/td>: 201911183909.4
• 申請日: 2019-11-27
• 公開（公告）號: CN110986979B
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 李傳煌;方春濤;盧正勇
• 申請（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號: H04L12/709
• 分類號: H04L12/709
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開一種基于強(qiáng)化學(xué)習(xí)的SDN多路徑路由規(guī)劃方法，該方法為：將強(qiáng)化學(xué)習(xí)應(yīng)用于SDN多路徑路由規(guī)劃中，使用QLearning算法作為強(qiáng)化學(xué)習(xí)模型，根據(jù)流量的不同QoS等級，產(chǎn)生不同的獎勵值；根據(jù)輸入的網(wǎng)絡(luò)拓?fù)渚仃嚒?dāng)前待轉(zhuǎn)發(fā)流特征矩陣，為不同的QoS等級的流設(shè)置不同的獎勵函數(shù)，規(guī)劃出多條路徑轉(zhuǎn)發(fā)該流；并在鏈路帶寬不夠用的情況下，將一條較大的流劃分為多條小流量，從而提高鏈路帶寬利用率。本發(fā)明利用強(qiáng)化學(xué)習(xí)與環(huán)境不斷交互、調(diào)整策略的特點，相比于傳統(tǒng)的單路徑路由規(guī)劃，可以實現(xiàn)高鏈路利用率，能有效減少網(wǎng)絡(luò)擁塞。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)和強(qiáng)化學(xué)習(xí)領(lǐng)域，具體涉及一種基于強(qiáng)化學(xué)習(xí)的SDN多路徑路由規(guī)劃方法。

背景技術(shù)

近年來，隨著互聯(lián)網(wǎng)的普及，特別是云計算、大數(shù)據(jù)等相關(guān)技術(shù)的出現(xiàn)，互聯(lián)網(wǎng)進(jìn)入了快速發(fā)展期。互聯(lián)網(wǎng)的快速發(fā)展使得網(wǎng)絡(luò)傳輸業(yè)務(wù)數(shù)據(jù)量迅速增長，特別是近年短視頻、直播平臺的興起，網(wǎng)絡(luò)業(yè)務(wù)的交互更加實時，終端用戶對于網(wǎng)絡(luò)業(yè)務(wù)的服務(wù)質(zhì)量(Quality of Service,QoS)提出了更高的需求。然而，在網(wǎng)絡(luò)資源有限的情況下，互聯(lián)網(wǎng)流量數(shù)據(jù)的持續(xù)增長，可能會造成帶寬消耗急劇增加、服務(wù)質(zhì)量難以保證、安全問題增多等問題。顯然，傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)難以滿足用戶多樣化的需求。在上述背景下，互聯(lián)網(wǎng)行業(yè)需要一種新型的網(wǎng)絡(luò)架構(gòu)來解決現(xiàn)有的網(wǎng)絡(luò)問題，并且該架構(gòu)需要比傳統(tǒng)的架構(gòu)更加靈活高效，以滿足社會日益增長的流量數(shù)據(jù)需求。

SDN作為一種新型的網(wǎng)絡(luò)架構(gòu)，受到各行各界的廣泛關(guān)注，它解決了傳統(tǒng)網(wǎng)絡(luò)中一些無法避免的問題。傳統(tǒng)網(wǎng)絡(luò)架構(gòu)各個設(shè)備均能獨立制定轉(zhuǎn)發(fā)規(guī)則，并通過一系列網(wǎng)絡(luò)協(xié)議(如TCP/IP)傳遞信息，在這樣的體系結(jié)構(gòu)下，網(wǎng)絡(luò)設(shè)備控制和轉(zhuǎn)發(fā)緊密耦合，網(wǎng)絡(luò)設(shè)備只能以自己為中心為流量業(yè)務(wù)規(guī)劃路徑，不具備網(wǎng)絡(luò)全局資源信息，易造成網(wǎng)絡(luò)鏈路擁塞等問題。SDN轉(zhuǎn)發(fā)與控制分離，可以通過OpenFlow協(xié)議實時獲取鏈路信息，有利于網(wǎng)絡(luò)的集中控制，使得控制層獲得網(wǎng)絡(luò)全局資源信息，并且根據(jù)業(yè)務(wù)的需求進(jìn)行統(tǒng)一的管理與分配，同時，集中控制還使得整個網(wǎng)絡(luò)可以被視為一個整體，方便維護(hù)。與傳統(tǒng)的IP網(wǎng)絡(luò)相比，SDN網(wǎng)絡(luò)解決了傳統(tǒng)網(wǎng)絡(luò)路由信息不準(zhǔn)確、選路效率低等問題，這為實現(xiàn)根據(jù)不同流的需求智能規(guī)劃路由奠定了基礎(chǔ)。因此，研究SDN網(wǎng)絡(luò)架構(gòu)具有重要意義。無論是傳統(tǒng)網(wǎng)絡(luò)還是SDN網(wǎng)絡(luò)，路由都是必不可少的組成部分，然而目前主流的SDN路由模塊采用的基本都是Dijkstra(最短路徑)算法，所有數(shù)據(jù)包若僅僅依賴于最短路徑算法，數(shù)據(jù)流很容易因為選擇同一條鏈路導(dǎo)致鏈路擁塞，且其他鏈路會置于空閑狀態(tài)，這極大降低了鏈路利用率。另一方面，最短路徑算法是圖論中尋找最短路徑的算法，該算法在運行的時候?qū)嶋H上會求出源節(jié)點到拓?fù)渲衅渌泄?jié)點的最短路徑，因此，該算法的時間復(fù)雜度很高。此外也有一些支持多路徑的協(xié)議如ECMP，但這些協(xié)議并未考慮不同業(yè)務(wù)流對服務(wù)質(zhì)量的需求。因此，SDN網(wǎng)絡(luò)中需要一種更好的路由策略來生成路由，提升網(wǎng)絡(luò)的性能，保障不同業(yè)務(wù)流的服務(wù)質(zhì)量。

發(fā)明內(nèi)容

面向高帶寬利用率的SDN智能路由規(guī)劃技術(shù)，圍繞當(dāng)前SDN網(wǎng)絡(luò)主要都是采用最短路徑作為路由規(guī)劃算法，導(dǎo)致鏈路帶寬利用率低等問題，本發(fā)明結(jié)合當(dāng)前強(qiáng)化學(xué)習(xí)在策略優(yōu)化方面的優(yōu)勢，將強(qiáng)化學(xué)習(xí)與SDN結(jié)合，提出了基于強(qiáng)化學(xué)習(xí)的多路徑路由規(guī)劃算法。

本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下：一種基于強(qiáng)化學(xué)習(xí)的SDN多路徑路由規(guī)劃方法，該方法包括以下步驟：

步驟1：采集網(wǎng)絡(luò)的可用帶寬信息、總帶寬信息、節(jié)點信息和鏈路信息構(gòu)建網(wǎng)絡(luò)拓?fù)渚仃嚕@取待轉(zhuǎn)發(fā)流特征矩陣；

步驟2：采用QLearning算法作為強(qiáng)化學(xué)習(xí)模型，將步驟1中網(wǎng)絡(luò)拓?fù)渚仃嚭痛D(zhuǎn)發(fā)流特征矩陣輸入到強(qiáng)化學(xué)習(xí)模型訓(xùn)練Q值表；所述QLearning算法中獎勵函數(shù)R如下：