[發明專利]一種基于深度強化學習的異構網絡節能路由方法

有效

• 申請號: 202210767617.0
• 申請日: 2022-07-01
• 公開（公告）號: CN115175268B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 付蔚;胡燦煒;劉慶;李明;彭欽;呂貝哲;洪承鎬
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W40/02
• 分類號: H04W40/02;H04W40/10;H04W40/12;H04W52/02;H04W84/18;G06N20/00
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王詩思

本發明屬于無線傳感器網絡技術領域，具體涉及一種基于深度強化學習的異構網絡節能路由方法，傳感器節點根據自身傳感器的預定義計劃感知環境，收集觀測數據并存入對應的緩存隊列；并在等待時間內，接收鄰居節點傳送的聚合數據并存入對應的緩存隊列；傳感器節點將同一緩存隊列中的數據聚合，得到多種類型的聚合數據；根據Q學習自適應算法選擇每種類型的聚合數據的下一跳傳感器節點并轉發；傳感器節點根據下一跳傳感器節點的響應更新對應傳感器的Q表，本發明基于機器學習的自適應路由實現對網絡動態變化的實時捕獲，用較小的開銷實現對整個網絡的動態掌控，具有較好的節能性能，有效的延長了網絡生命周期。

技術領域

本發明屬于無線傳感器網絡技術領域，具體涉及一種基于深度強化學習的異構網絡節能路由方法。

背景技術

在無線傳感器網絡中，許多傳感器節點部署在廣域上，以收集觀測數據并將其發送到接收器(或服務器)。因此，需要多跳傳輸來將收集的數據成功地傳送到位于源傳感器節點傳輸范圍之外的接收器。這需要一個收集傳感器節點來計算到接收器的最佳路由。能源效率是無線傳感器網絡成功應用的主要挑戰，但是節點能量有限，部署后無法輕松充電。此外，由于能量主要由無線電設備消耗，因此通信路由算法的節能設計至關重要。

路由協議的能量消耗會影響無線傳感器網絡(WSN)的生命周期，因為部署后微小的傳感器節點通常很難充電。通常，為了節約能源，數據聚合用于最小化和/或消除每個節點上的數據冗余，并減少無線傳感器網絡中傳輸的總體數據量。此外，節能路由被廣泛用于確定從源到目的地的最佳路徑，同時避免能量不足的節點，以節省中繼感測數據的能量。在大多數傳統方法中，數據聚合和路由路徑選擇是分開考慮的。各種機器學習技術被用來有效地捕捉節點拓撲變化、受限能量條件、事件檢測和通信成本等動態特征，以實現無線傳感器網絡的節能運行。其中，強化學習(RL)特別適用于包括長期與短期獎勵權衡的問題。它為系統提供了一個框架，使其能夠從以前與環境的交互中學習，并在將來有效地選擇其操作。基于RL的路由協議可以確定最佳路徑，作為復雜網絡條件和服務質量要求的自適應方法。

發明內容

為解決上述問題，本發明提供了一種基于深度強化學習的異構網絡節能路由方法，包括：構建傳感器網絡，所述傳感器網絡包括一個sink節點、M個傳感器節點、K種不同類型的傳感器；傳感器設置預定義計劃感知環境并采集數據，每種傳感器采集的數據類型不同，傳感器網絡中共有K種數據類型；每個傳感器節點都有與K種數據類型一一對應的緩存隊列；

基于深度強化學習的異構網絡節能路由方法，包括以下步驟：

S1.任一傳感器節點中的傳感器根據自身的預定義計劃感知環境，在自身的預定義計劃內收集觀測數據并存入對應的緩存隊列；

S2.該傳感器節點接收來自鄰居節點的數據并將其存入對應的緩存隊列；

S3.該傳感器節點將存儲在同一緩存隊列的數據聚合，K種緩存隊列對應K種聚合數據；

S4.構建基于深度強化學習的Q學習自適應算法，該傳感器節點通過Q學習自適應算法為每種聚合數據選擇下一跳傳感器節點。

進一步的，任一種聚合數據通過Q學習自適應算法選擇下一跳傳感器節點進行轉發的過程為：

S11.傳感器節點s確定該聚合數據的數據類型，在Q路由表中選擇該數據類型的轉發優先級最大的傳感器節點s′；

S12.傳感器節點s將該聚合數據轉發給傳感器節點s′，傳感器節點s′接收并返回響應數據包，響應數據包包括獎勵信息和確認接收信息；

S13.傳感器節點s接收響應數據包并更新自身的Q路由表。

進一步的，傳感器節點s′接收聚合數據并計算獎勵信息反饋給傳感器節點s，獎勵信息包括數據傳輸獎勵、數據聚合獎勵、剩余能量獎勵和鏈路強度獎勵四種，分別的計算公式為：