[發明專利]一種基于鏈路狀態估計的網絡路由轉發方法及系統

有效

• 申請號: 202111058710.6
• 申請日: 2021-09-09
• 公開（公告）號: CN113938415B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 戴彬;曹園園;伍仲麗
• 申請（專利權）人: 華中科技大學
• 主分類號: H04L45/02
• 分類號: H04L45/02;H04L45/12
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍

1.一種基于鏈路狀態估計的網絡路由轉發方法，其特征在于，包括：

S1，統計網絡中各節點對之間的流量需求得到流量矩陣，將所述流量矩陣輸入DDPG神經網絡，輸出各鏈路的第一權重；

S2，監測網絡中各節點對之間的端到端時延，基于所述端到端時延判斷各節點對之間的路徑狀態，并根據預置的路徑-鏈路擁塞關系估計所述路徑狀態下各鏈路的擁塞概率，生成包含所述擁塞概率的動作噪聲，所述動作噪聲為：

其中，為所述動作噪聲，p為鏈路擁塞概率向量，p_b為鏈路b的擁塞概率，b＝1,2,…,n_e，n_e為鏈路總數，ρ為由實時的路徑狀態和輸出動作確定的數值向量，ρ_b為鏈路b對應的數值，N_t為OU噪聲；

S3，將所述動作噪聲添加至各鏈路的第一權重中，對添加后得到的結果依次進行截取和softmax函數處理，得到各鏈路的最終權重，將所述最終權重轉化為路由策略并分發至各節點，根據所述路由策略下的網絡狀態計算獎勵；

S4，多次重復執行所述S1-S3以形成不同時刻下的多組樣本數據，所述樣本數據包含最終權重、獎勵和流量矩陣，并利用所述多組樣本數據訓練DDPG神經網絡模型。

2.如權利要求1所述的基于鏈路狀態估計的網絡路由轉發方法，其特征在于，所述S4之后還包括：

基于當前時刻的流量矩陣，利用訓練后的DDPG神經網絡模型生成各鏈路的第一權重，對所述第一權重依次進行動作噪聲添加、截取、softmax函數處理和轉化后生成當前路由策略，各節點根據所述當前路由策略執行網絡路由轉發。

3.如權利要求1-2任一項所述的基于鏈路狀態估計的網絡路由轉發方法，其特征在于，所述擁塞概率為：

其中，p為鏈路擁塞概率向量，y^[1]為第一中間參數，y^[2]為第二中間參數，A為路由矩陣，A^[2]中的任一元素(i,l)為在A的第i行和第l行之間進行最大運算所得，為路徑u的期望，u＝1,2,…,n_p，n_p為路徑總數，為路徑h和路徑k的期望，h和k均為1,2,…,n_p中的任意數值且h≠k。

4.如權利要求1所述的基于鏈路狀態估計的網絡路由轉發方法，其特征在于，所述S3中添加后得到的結果為：

將a_t截取在[0,1]范圍內，softmax函數處理后得到的最終權重為：

W_t＝softmax(a_t)

其中，a_t為添加后得到的結果，s_t為流量矩陣，θ^μ為DDPG神經網絡中actor網絡的參數均值，μ(s_t|θ^μ)為s_t下actor網絡選擇的動作均值，為所述動作噪聲，W_t為最終權重，softmax()為softmax函數處理。

5.如權利要求1或4所述的基于鏈路狀態估計的網絡路由轉發方法，其特征在于，所述S3中得到的獎勵為：

其中，R_t為所述獎勵，分別為D_i→j、J_i→j、L_i→j的歸一化向量，D_i→j、J_i→j、L_i→j分別為源節點i到目的節點j的時延、抖動和丟包率，α、β、γ分別為時延權重、抖動權重和丟包率權重，n_v為節點總數。

6.如權利要求1所述的基于鏈路狀態估計的網絡路由轉發方法，其特征在于，所述S3中利用最短加權路徑算法Dijkstra將所述最終權重轉化為路由策略并分發至各節點。