[發明專利]一種基于深度強化學習的水下無線傳感器網絡拓撲控制方法

有效

• 申請號: 202111121811.3
• 申請日: 2021-09-24
• 公開（公告）號: CN113923123B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 劉春鳳;趙昭;曲雯毓;余濤;王子恒
• 申請（專利權）人: 天津大學
• 主分類號: H04L41/12
• 分類號: H04L41/12;H04W40/24;G06N3/092;G06N3/088;G06N3/084;G06N3/0464;H04W4/38;H04W28/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 韓帥

本發明公開了一種基于深度強化學習的水下無線傳感器網絡拓撲控制方法；它分為離線訓練和在線控制兩個階段，在離線訓練階段，根據已有的網絡信道和傳輸信息，在強化學習的框架下按照預定的拓撲控制順序去訓練網絡拓撲控制方法；在此過程中本發明設計了一種基于強化學習的拓撲控制方法，它能夠獲得能耗均衡且連通的網絡拓撲結構；同時本發明提出了一個基于深度學習的蒙特卡洛樹搜索方法去評估拓撲控制過程中每個動作選擇的收益；在線控制階段，拓撲控制中心定期接收來自水下傳感器節點的信息包，獲取有關網絡信道和傳輸狀態的有用參數值；根據這些參數值，拓撲控制中心使用與離線訓練部分相同的強化學習框架生成網絡拓撲，以適應當前動態的水下環境；本發明可以根據水下通信環境為水下無線傳感器網絡重新生成網絡拓撲，在滿足網絡連通性要求的同時有效延長網絡生命周期。

技術領域

本發明主要涉及水下無線傳感網絡技術領域，尤其涉及一種基于深度強化學習的水下無線傳感器網絡拓撲控制方法

背景技術

水下無線傳感器網絡是一種實時、便捷、易擴展的水下信息感知和收集的網絡，能夠提高對海洋環境的監控和預測能力，以及增強處理海洋突發事件的能力。它有著廣泛的應用場景，如海洋信息采集、環境監測、深海探測、災害預測、輔助導航、分布式戰術監控等。在水下無線傳感器網絡中，水下傳感器節點通常由電池供電，電池容量嚴重受限，充電不方便。為了保證海洋應用的服務時間，支持海洋應用的水下無線傳感器網絡的網絡生命周期至關重要。然而，在復雜、動態的水下環境中，優化水下無線傳感器網絡的網絡生存期是一個非常具有挑戰性的問題。首先，水下通信的能耗遠高于地面無線傳感器網絡通信的能耗。此外，低質量的水下無線信道容易造成數據重傳問題，進一步增加水下無線傳感器網絡的能量消耗。例如，水聲通信質量容易受到多普勒效應、多徑效應和海洋環境噪聲等多種因素的影響；水下環境的渾濁度影響水下無線光通信的信道質量。此外，水流引起的水下傳感器節點移動容易破壞網絡拓撲結構，降低水下無線傳感器網絡的數據傳輸的可靠性。

拓撲控制是優化水下無線傳感器網絡的網絡生命周期的重要方法之一。拓撲控制的目的是在保證網絡連通性和網絡覆蓋的前提下，為水下無線傳感器網絡的數據傳輸階段提供一種傳輸功率降低、網絡負載均衡的網絡拓撲。然而，現有的水下無線傳感器網絡拓撲控制策略缺乏及時有效地感知網絡整體狀態(信道狀態和傳輸狀態)的能力。具體來說，為了降低算法復雜度，提高計算效率，水下無線傳感器網絡的拓撲控制策略大多采用分布式啟發式設計，無法從全局角度獲取水下信道狀態的特征。此外，數據傳輸階段相關內置協議(路由協議和MAC協議)的傳輸狀態特征也影響拓撲控制策略的設計；這是因為拓撲控制本質上是為數據傳輸服務的。綜上可知，如果水下無線傳感器網絡的拓撲控制策略不能充分考慮上述狀態特征，將會嚴重削弱其優化網絡生命周期的性能。因此，需要在水下無線傳感器網絡中設計一種能夠充分感知整個網絡各種狀態的拓撲控制方法。

如期刊論文“A?Complex?Network?Approach?to?Topology?Control?Problem?inUnderwater?Acoustic?Sensor?Networks”提出了一種基于復雜網絡的水下無線傳感器網絡拓撲控制策略，該策略以最小化傳輸能耗和提高數據傳輸可靠性為目標，根據水下傳感器節點的局部信息去構建一種雙分簇的網絡拓撲結構，在保證網絡拓撲具有復雜網絡特征的前提下最小化網絡能耗，從而延長網絡生命周期。但是它沒有考慮復雜動態的水下信道對網絡拓撲的整體影響以及沒有考慮后期運行的相關傳輸協議是否適用于該網絡拓撲，從而導致數據傳輸成功率低以及網絡生命周期短的問題。針對現有水下無線傳感器網絡的拓撲控制策略無法充分利用整體網絡的信道和數據傳輸信息的問題，本發明提出了一種基于深度強化學習的水下無線傳感器網絡拓撲控制方法；它能有效保證網絡連通性，降低和均衡網絡能量消耗，從而延長網絡生命周期。

發明內容