[發明專利]自適應能耗和延遲的水聲傳感器網絡路由決策方法

在審

• 申請號: 201910325682.6
• 申請日: 2019-04-22
• 公開（公告）號: CN110113796A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 蘇毅珊;范榕;張麟
• 申請（專利權）人: 天津大學
• 主分類號: H04W40/04
• 分類號: H04W40/04;H04W40/10;H04L12/721;H04B13/02
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明涉及一種基于深度Q網絡的自適應能耗和延遲的水聲傳感器網絡路由決策方法，包括下列的步驟：(1)以某傳感器節點作為源節點，對從鄰居節點接收到的剩余能量和深度信息進行數據預處理，作為深度Q網絡的輸入層信息；(2)構造深度Q網絡；(3)構造損失函數；(4)考慮節點的剩余能量和深度，構造深度Q網絡的回報函數；(5)初始化深度Q網絡參數；(6)在將節點部署到水下之前采用離線訓練的方式訓練深度Q網絡。

技術領域

本發明屬于水聲傳感器網絡通信技術領域，涉及一種路由決策方法。

背景技術

水聲傳感器網絡具有長傳輸延時，高能量消耗以及動態拓撲的特點。由于水聲傳感器節點體積大，難以更換電池，因而受限的資源限制了網絡壽命，即網絡的有效作用時間。針對這些問題，目前雖然提出了很多面向水聲通信的路由決策方法，但是仍然存在很多缺點與問題，迫切需要更加全面的路由算法。

傳統的路由協議采用最短路徑算法縮短端到端延時，減少網絡能耗，但是分布在最短路徑上的“熱點”節點會被頻繁使用，因而縮短了網絡壽命。為延長網絡有效使用時間，許多智能路由決策算法被提出。這些路由協議選擇剩余能量多的節點作為下一跳轉發節點，但是未能全面權衡網絡壽命與端到端延時和能量消耗之間的綜合優化情況。

發明內容

針對上述問題，本發明提出一種自適應能耗和延遲的水聲傳感器網絡路由決策方法，更加全面地考慮了水聲通信的重要指標，從而可以延長網絡壽命，提升通信網性能。技術方案如下：

一種基于深度Q網絡的自適應能耗和延遲的水聲傳感器網絡路由決策方法，包括下列的步驟：

(1)以某傳感器節點作為源節點，對從鄰居節點接收到的剩余能量和深度信息通過公式r_re＝re_ini/re_max和r_de＝de_ini/de_max進行數據預處理，作為深度Q網絡的輸入層信息，其中re_ini和de_ini分別表示某鄰居節點當前的剩余能量和深度，re_max和de_max分別表示該源節點的所有鄰居節點中具有最大剩余能量和深度的數值；

(2)構造深度Q網絡，包括輸入層、若干隱藏層和輸出層，通過全連接方式連接各層，輸出層輸出Q值，其中Q值表示在某一節點狀態下做出某種行為的獎勵值；

(3)構造損失函數：通過公式L(w)＝E[(Q_real-Q_esti(s_i,a_i,w))²]得到深度Q網絡的損失函數，其中表示將要更新的獎勵Q值，R(s_i,a_i)表示在狀態s_i采取行動a_i后所獲得的回報，γ表示折扣因子，P(s_i,a_i,s_i+1)表示在狀態s_i采取行動a_i后轉移到狀態s_i+1的概率，Q_*(s_i+1,a_i+1,w)＝maxQ_esti(s_i+1,a_i+1,w)表示在下一個狀態s_i+1采取行動a_i+1后所能獲得的最大Q值，w是網絡參數；Q_esti(s_i,a_i,w)表示在當前狀態s_i下采取行動a_i能夠獲得的Q值；