[發明專利]一種基于深度強化學習的異構網絡節能路由方法

有效

• 申請號: 202210767617.0
• 申請日: 2022-07-01
• 公開（公告）號: CN115175268B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 付蔚;胡燦煒;劉慶;李明;彭欽;呂貝哲;洪承鎬
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W40/02
• 分類號: H04W40/02;H04W40/10;H04W40/12;H04W52/02;H04W84/18;G06N20/00
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王詩思

1.一種基于深度強化學習的異構網絡節能路由方法，其特征在于，構建傳感器網絡，所述傳感器網絡包括一個sink節點、M個傳感器節點、K種不同類型的傳感器；傳感器設置預定義計劃感知環境并采集數據，每種傳感器采集的數據類型不同，傳感器網絡中共有K種數據類型；每個傳感器節點都有與K種數據類型一一對應的緩存隊列；

每種傳感器的預定義計劃包括感應時間、感應間隔和等待時間；感應時間為傳感器節點采集環境數據的時間長度；感應間隔為傳感器節點相鄰兩次采集環境數據的時間間隔；等待時間為傳感器節點接收鄰居節點的數據的時間長度；

基于深度強化學習的異構網絡節能路由方法，包括以下步驟：

S1.任一傳感器節點中的傳感器根據自身的預定義計劃感知環境，在自身的預定義計劃內收集觀測數據并存入對應的緩存隊列；

S2.該傳感器節點接收來自鄰居節點的數據并將其存入對應的緩存隊列；

S3.該傳感器節點將存儲在同一緩存隊列的數據聚合，K種緩存隊列對應K種聚合數據；

S4.構建基于深度強化學習的Q學習自適應算法，該傳感器節點通過Q學習自適應算法為每種聚合數據選擇下一跳傳感器節點。

2.根據權利要求1所述的一種基于深度強化學習的異構網絡節能路由方法，其特征在于，任一種聚合數據通過Q學習自適應算法選擇下一跳傳感器節點進行轉發的過程為：

S11.傳感器節點s確定該聚合數據的數據類型，在Q路由表中選擇該數據類型的轉發優先級最大的傳感器節點s′；

S12.傳感器節點s將該聚合數據轉發給傳感器節點s′，傳感器節點s′接收并返回響應數據包，響應數據包包括獎勵信息和確認接收信息；

S13.傳感器節點s接收響應數據包并更新自身的Q路由表。

3.根據權利要求2所述的一種基于深度強化學習的異構網絡節能路由方法，其特征在于，傳感器節點s′接收聚合數據并計算獎勵信息反饋給傳感器節點s，獎勵信息的計算公式為：

R_L＝l_s(s,s′)

其中，R為數據傳輸獎勵；R_DA為數據聚合獎勵；R_E為剩余能量水平獎勵；R_L為鏈路強度獎勵；E_s′為下一跳傳感器節點s′的剩余能量水平；為下一跳傳感器節點s′的當前剩余能量；為下一跳傳感器節點s′的初始能量水平；l_s為發送數據的傳感器節點s與接收數據的下一跳傳感器節點s′的鏈路強度；α_l、β_l、γ_l為自適應權重系數；R_s為sink節點固定獎勵，R_e為下一跳傳感器節點s′的低能量水平負獎勵；表示下一跳傳感器節點s′接收t類型數據后t類型緩存隊列的大小；表示下一跳傳感器節點s′聚合t類型數據后得到的聚合數據的大小；表示最大數據聚合獎勵。

4.根據權利要求3所述的一種基于深度強化學習的異構網絡節能路由方法，其特征在于，傳感器節點s接收響應數據包后，根據響應數據包中的獎勵信息更新對應傳感器的Q路由表，更新公式為：

Q′(s,a)＝Q(s,a)+λ{R-Q(s,a)}

其中，λ表示學習率，Q′(s,a)表示更新的Q值，R表示數據傳輸獎勵，Q(s,a)表示更新前的Q值。

5.根據權利要求4所述的一種基于深度強化學習的異構網絡節能路由方法，其特征在于，Q學習自適應算法中的Q值由數據聚合度，節點剩余能量水平，鏈路強度三部分組成，Q值計算公式為：

其中，s為傳感器節點，a為傳感器節點s在其Q路由表中選擇某一傳感器節點作為下一跳節點的動作，Q(s,a)為傳感器節點s執行動作a的Q值；DA(s,a)為傳感器節點s選擇動作a的數據聚合度；為傳感器節點s選擇動作a代表的下一跳節點的剩余能量水平；為節點s選擇動作a代表的下一跳節點的鏈路強度。

6.根據權利要求1所述的一種基于深度強化學習的異構網絡節能路由方法，其特征在于，傳感器節點由傳感器和收發器組成，一個傳感器節點配備一種或一種以上的傳感器。