[發明專利]一種基于強化學習的SDWSN最優路徑計算方法

在審

• 申請號: 202210107090.9
• 申請日: 2022-01-28
• 公開（公告）號: CN114501576A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 謝昊飛;吳禹霜;楊登鑫;范祥林;李星辰
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W40/10
• 分類號: H04W40/10;H04W40/32;H04L45/00
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 廖曦

本發明涉及一種基于強化學習的SDWSN最優路徑計算方法，屬于軟件定義無線傳感網絡領域。該方法包括：S1：結合節點位置和時延信息，構建網絡節點能耗估算模型，并根據該模型估算所有節點的能耗速率；S2：根據能耗和節點密度空間的相關性，采用動態半徑的簇頭選擇算法，計算出事件區域需要選取的簇頭節點數k；同時選取k個副簇頭節點作為簇頭節點的簇內數據轉發節點；S3：采用基于強化學習的最優路徑選擇算法，計算傳輸的最優路徑。本發明能有效提高生存周期、均衡網絡能耗和提高數據包傳輸率。

技術領域

本發明屬于軟件定義無線傳感網絡領域，涉及一種基于強化學習的軟件定義無線傳感網(SoftwareDefined Wireless SensorNetwork,SDWSN)最優路徑計算方法。

背景技術

無線傳感器網絡(WSNs)有很多位于不同領域的傳感器組成，有的是固定的，也有的是在動態環境中的移動節點，并且WSNs的重要性逐日俱增。每個傳感器節點包括一個小電源、傳輸和處理單元。傳感器節點感知環境，處理數據，并將其傳輸到遠程基站。在過去，無線傳感器網絡以其易于部署、靈活性、可擴展性和低成本等優點而受到研究界的關注。它被應用于許多領域，如醫療保健、交通控制、結構監測、家庭應用，以及更多的應用。然而，它也被用于環境監測，災區和軍事應用。由于傳感器節點電池體積小，在危險環境下無法充電，所以一般情況下傳感器節點被部署一次后需要工作很長時間，從而簇頭節點能量消耗成為無線傳感器網絡中的一個重要問題。它具有能量管理、通信能力、內存、安全性、異構性、復雜性等資源限制，因此優化路由路徑是提高無線傳感器網絡能量消耗的重要手段。

路由是一個選擇將數據從源節點發送到目標節點的路徑的過程。一些架構，比如軟件定義的網絡(SDN)可以幫助優化WSNs中的路由。SDN是一種新興的體系結構，具有靈活性、動態性和低管理成本。它把數據平面和控制平面分開。數據平面包括網絡節點，控制平面包括網絡控制器。SDN控制器可以全局查看底層網絡，有效地控制整個網絡。由于其靈活的體系結構，SDN在許多現代網絡應用程序中得到了廣泛的應用。然而，它有一些局限：在實時應用程序中尋找最佳路由路徑等，從而降低了網絡性能。

在實時應用程序中，采用強化學習選擇路由路徑是一種很有前景的機器學習技術，可以找到最佳的路由路徑。然而，在傳統的路由協議中，簇頭節點使用預先建立的路由路徑進行數據傳輸。它沒有反映當前網絡的確切狀態，其中路由表是事先建立的。在基于強化學習的算法中，Q-value被分配給每個表示動作最優的可能動作。在學習過程中，代理根據Q-value選擇一個動作。在每一輪之后，代理根據之前更新Q-value的動作獲得獎勵。隨著時間的推移，代理學習網絡行為，根據網絡情況改變路由路徑，并實時地經過一些迭代后得到最優路徑。因此，基于強化學習的路由算法比傳統的非強化學習的路由算法具有更好的性能。

發明內容

有鑒于此，本發明的目的在于提供一種基于強化學習的SDWSN最優路徑計算方法，用于有效提高生存周期、均衡網絡能耗和提高數據包傳輸率，以保證整個網絡資源調度合理可靠。

為達到上述目的，本發明提供如下技術方案：

一種基于強化學習的SDWSN最優路徑計算方法，具體包括以下步驟：

S1：結合節點位置和時延信息，構建網絡節點能耗估算模型，并根據該模型估算所有節點的能耗速率；

S2：根據能耗和節點密度空間的相關性，采用動態半徑的簇頭選擇算法，計算出事件區域需要選取的簇頭節點數k；同時選取k個副簇頭節點作為簇頭節點的簇內數據轉發節點；

S3：采用基于強化學習的最優路徑選擇算法，計算傳輸的最優路徑。

進一步，步驟S1中，構建網絡節點能耗估算模型，具體包括：網絡區域為半徑R的圓形區域，若干個傳感器節點隨機非均勻分布在圓形區域內，圓心O為代理節點(可充電超級節點RSN)，RSN完成與控制器之間的消息交互，RSN感知范圍半徑為r_O的事件區域；