[發明專利]一種基于改進強化學習的水下多模態網絡路由策略生成方法

有效

• 申請號: 202011103398.3
• 申請日: 2020-10-15
• 公開（公告）號: CN112351400B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 劉春鳳;趙昭;曲雯毓;廣曉蕓;余濤
• 申請（專利權）人: 天津大學
• 主分類號: H04W4/38
• 分類號: H04W4/38;H04W40/04;H04W40/24
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 韓帥

本發明公開一種基于改進強化學習的水下多模態網絡路由策略生成方法，包括如下步驟：在路由策略實施初期的離線階段：從水面匯聚節點開始通過迭代的方式初步學習網絡節點間傳輸關系，使每個節點獲得每個信息價值量等級數據到匯聚節點的最大傳輸收益；在網絡運行的在線階段：通過強化學習模型對每個節點采用中繼節點和傳輸頻段組合獲得水面匯聚節點的期望收益，從而構建適用于不同信息價值量等級數據的傳輸路徑；該方法以降低高信息價值量數據傳輸時延；降低和均衡網絡能耗，延長網絡運行時間。

技術領域

本發明主要涉及水下無線傳感網絡技術領域，尤其涉及一種基于改進強化學習的水下多模態網絡路由策略生成方法。

背景技術

水下無線傳感器網絡能夠幫助人類更加便捷地認識和了解海洋，獲得有價值海洋數據信息，提高對海洋環境的監控和預測能力，以及處理海洋突發事件的能力。它能服務的應用十分廣泛，如海洋信息采集、環境監測、深海探測、災害預測、輔助導航、分布式戰術監控等。各類海洋應用日益增多，由于應用種類差異和時間敏感性不同，使它們對海洋數據傳輸性能的需求往往不同。水下無線傳感器網絡供應商需要考慮如何在滿足海洋應用對數據傳輸需求的前提下去進一步優化網絡性能，從而提高網絡的收益。

具體來講，水下數據通常包含事件種類和事件時效性，它們可以稱之為數據價值量。一個數據的事件種類越重要，事件時效性越強，那么該數據的數據價值量越高；該數據就需要被快速傳輸，反之則可以為了改善網絡性能而慢速傳輸。當前為提高海洋數據傳輸效率，多模態水下無線傳感器網絡被提出。在該網絡中，傳感器節點配備有多種互不干擾的水下通信模塊組合，它們可以同時通信，例如：水聲通信和水下光通信組合，或包含多個頻段相互正交的水聲通信組合。此外，水下無線傳感器網絡節點通常由電池供電，節點電池能量有限且水下充能困難；因此，對于多模態水下無線傳感器網絡來說，一個最基本的問題就是：網絡供應商需要在滿足不同海洋應用對數據傳輸時延需求的前提下，設計適用于水下動態通信環境的路由策略去進一步降低和均衡網絡能耗，從而延長網絡壽命。

然而據我們所知，現有基于強化學習的多模態水下無線傳感器網絡沒有綜合考慮海洋應用的數據價值量和網絡壽命。如期刊論文“MARLIN-Q:Multi-modal communicationsfor reliable and low-latency underwater data delivery”提出了一種基于強化學習的多模態水下無線傳感器網絡路由策略，該策略以最小化傳輸時延和提高數據傳輸可靠性為目標，根據當前鄰居節點反饋的信息去動態選擇中繼節點和通信頻段。雖然它能有效降低傳輸時延和提高數據傳輸成功率，但是它沒有分析數據傳輸特征、數據價值量以及均衡網絡能耗；從而導致算法運行能耗高，部分重要數據傳輸時延高以及網絡壽命短等問題。針對包含多類型數據的水下無線傳感器網絡的傳輸問題，本發明提出了一種基于改進強化學習的水下多模態網絡傳輸策略生成方法。在有效降低高價值量數據傳輸時延的同時均衡網絡能量消耗去延長網絡壽命。

發明內容

為解決上述技術問題，本發明提供一種基于改進強化學習的水下多模態網絡傳輸策略生成方法，該方法可以降低高信息價值量數據傳輸時延；降低和均衡網絡能耗，延長網絡運行時間。

針對現有技術存在問題，本發明采用如下技術方案：

一種基于改進強化學習的水下多模態網絡路由策略生成方法，

在路由策略實施初期的離線階段：從水面匯聚節點開始通過迭代的方式初步學習網絡節點間傳輸關系，使每個節點獲得每個信息價值量等級數據到匯聚節點的最大傳輸收益；

在網絡運行的在線階段：通過強化學習模型對每個節點采用中繼節點和傳輸頻段組合獲得水面匯聚節點的期望收益，從而構建適用于不同信息價值量等級數據的傳輸路徑。

進一步，在路由策略實施初期的離線階段每個節點獲得最大傳輸收益步驟：

S1、位于水面的匯聚節點為每個傳輸頻段組合產生一個廣告包；然后將該包通過所對應的傳輸頻段組合以廣播形式發送出去；