[發明專利]SDN環境下基于深度強化學習的智能QoS路由優化方法、系統

有效

• 申請號: 202011266807.1
• 申請日: 2020-11-13
• 公開（公告）號: CN112491714B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 孔令彪;崔杰;楊明;仲紅;許艷;馬建峰
• 申請（專利權）人: 安徽大學
• 主分類號: H04L45/302
• 分類號: H04L45/302;H04L45/00;H04L45/16;H04L12/46;H04L47/12;G06N3/08
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 宋方園

1.一種SDN環境下基于深度強化學習的智能QoS路由優化方法，其特征在于：包括以下步驟：

步驟S1：深度強化學習訓練

步驟S1.1、媒體服務器Media Server提供相應多媒體業務，且所述多媒體業務通過OpenFlow網絡進行傳輸；

步驟S1.2、SDN控制器中視頻管理模塊接收多媒體業務的會話請求，多媒體業務的會話請求集合為Γ^t，集合Γ^t中的每一個具體會話請求則表示為k是會話請求的索引，v_k表示傳輸第k個會話請求的視頻服務器，c_k表示第k個會話請求的客戶端，b_k表示第k個會話請求的帶寬大小；k∈[1，n]；

步驟S1.3、使用與SDN控制器相連的DDPG代理進行智能路由決策，SDN控制器定期向DDPG代理提供用于訓練的流量數據；且在訓練期間，將與環境每次交互后的狀態信息(s_t，a_t，r_t，s_t+1)存儲于經驗池，神經網絡的學習批次N^*(s_i，a_i，r_i，s_i+1)由從經驗池中采樣的數據組成；其中，s_t是t時刻的網絡狀態，a_t和s_t+1分別表示在s_t網絡狀態下采取的動作和轉換的狀態，r_t表示網絡狀態轉換后獲得的回報；s_i是初始化狀態，a_i是網絡輸出動作，在初始化狀態s_i下執行動作a_i，會得到相應的獎勵r_i和下一時刻狀態s_i+1；

步驟S1.4、SDN控制器中的QoS路由管理模塊與DDPG代理交互

DDPG代理為每個會話請求找到合適的動作之后，再由SDN控制器中的QoS路由管理模塊轉換成具體的相應流表指令下發到OpenFlow交換機中執行；

步驟S2：QoS路由優化

通過從SDN網絡中獲取全局網絡狀態，然后SDN控制器生成網絡策略動作，選擇不同的路由路徑，再由控制平面基于相應路由路徑下發相應的規則，按照集合順序依次對流量路由；具體步驟如下：

步驟S2.1、客戶端發送請求消息到數據平面的OpenFlow交換機中，交換機檢查是否有與流相匹配的流表項，如果流表項存在，則根據流表項執行轉發，否則，發送Packet_In消息到SDN控制器中，然后SDN控制器接收DDPG代理訓練完成后的動作，再按照相應的策略部署新的流表項到OpenFlow交換機中，獲得更加合理的路由；

步驟S2.2、SDN控制器按照相應時間周期獲取網絡狀態信息，每獲取一次網絡狀態，就相應進行一次路由優化，并按照路由策略去配置相應的流表；

上述過程中，對于相同網絡業務的會話請求，則下發相應的組表和流表進行組播傳輸，對于不同網絡業務的請求，則配置相應的流表項進行單播傳輸。