[發明專利]一種面向水下多智能體的Q學習蟻群路由方法

有效

• 申請號: 202010033962.2
• 申請日: 2020-01-13
• 公開（公告）號: CN111065145B
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 任勇;王景璟;方政儒
• 申請（專利權）人: 清華大學
• 主分類號: H04W40/10
• 分類號: H04W40/10;H04W40/12;H04W40/22;H04W40/24;H04W84/18
• 代理公司: 北京翔石知識產權代理事務所(普通合伙) 11816
• 代理人: 李勇

本發明提供一種面向水下多智能體的Q學習蟻群路由方法，結合強化學習和蟻群算法適應和學習動態水下環境的特征，包括如下步驟：路由發現階段，路由維持階段及路由空洞處理機制。將蟻群算法中的信息素映射為Q學習中的Q值。將鏈路的延遲、帶寬和節點的剩余能量、吞吐量綜合考慮作為Q值函數來選擇下一跳鏈路。該路由協議還實現了一種空洞感知機制，通過節點定時廣播和定時器記錄回傳ACK時間，判斷節點是否處于路由空洞，通過Q學習的懲罰函數使網絡避免使用處于空洞的節點。本發明考慮了節點的能量和深度、鏈路穩定性，通過Q學習減少了節點的端到端延遲、提高了數據遞送率和水下無線傳感器網絡的壽命。

技術領域

本發明涉及一種水下傳感器網絡路由協議領域，具體而言，涉及一種基于Q學習和集群算法的水下傳感器網絡路由協議。

背景技術

盡管海洋探測和開發的戰略地位非常重要，但是只有5％的海洋被探索過。一定程度上這是由于海洋水聲信道與水上的無線信道有很大不同。因此不能直接將陸地上的無線路由算法直接運用在水下傳感器網絡(UWSNs)中，它必須要加以修改才能運用在水下情況。

由于水下傳感器網絡(UWSNs)相比陸地無線傳感器網絡，面臨如下挑戰：

(1)聲音作為信號傳播介質導致的高延遲。由于水下的電磁波信號衰減十分嚴重，只能用于短距離傳輸。由于聲音在水下環境衰減較小，因此水下通信主要采用聲信號作為傳播媒介。但是水下聲信號傳播速度大約為1500m/s，而無線電波的傳播速度是水下聲傳播速度的20萬倍，采用傳統的確認重傳機制會大大增加路由過程的時延。

(2)AUV(自主式水下潛器)的移動和水流作用于水聲傳感器節點導致節點動態移動。水流作用會導致理想狀態是固定不動的水聲節點發生每秒2～3m的移動，而水下AUV移動速度可達到10節。因此設計水下路由算法往往采用分布式設計策略，根據網絡拓撲結構選擇合適的下一跳節點。

(3)傳感器和AUV的能量受限。水聲傳感器和AUV都是使用電池供電，而且在水下更換電池成本高昂。為了提高UWSNs的能量效率，必須充分考慮這個因素。

常見的水下傳感器路由協議可分為無狀態路由協議和有狀態路由協議。有狀態路由協議需要提前知道整個網絡的拓撲結構，這對于水下高延遲的狀態會大大增加通信開銷。無狀態路由協議有VBF、DFR、DBR等等，雖然適合于水下動態拓撲結構，但是容易陷入局部最優解的問題。水下傳感器網絡路由協議還可以根據是否需要調節功率、聲波批量、數據包沖突等劃分為跨層和非跨層協議。非跨層協議只需要考慮網絡層問題，跨層協議會根據網絡拓撲和鏈路狀態變化，動態的去優化路由性能。比較典型的跨層路由協議包括FBR、EEDBR、QELAR、ACO等。為了解決UWSNs的動態網絡拓撲問題和能量受限問題，需要采用跨層路由協議。

意大利學者Dor igo于1991年提出了蟻群算法，人工螞蟻通過改變環境變量，進行間接交流信息達到搜索最優解的目的。自然界中螞蟻根據沿途釋放信息素來尋找最短路徑。受此啟發，許多學者已經把這種原理應用在離散優化問題中，特別是引用到AdHoc網絡中來提高網絡性能。基于蟻群算法的路由協議通常可以分為主動式路由協議，按需式路由協議，及混合式路由協議。主動式路由協議特點是所有節點都是活動的，每個節點在實際通信請求之前找到網絡中任何其他節點的路由。它的優點是減少了路由發現時延，缺點是網絡開銷很大，例如AntNet。按需式路由協議特點是所有節點都處于休眠模式。當節點需要與其他節點通信時，它們就會變得活躍。優點是網絡開銷小，于此同時帶來了相對長的路由建立時間，比如ADSR、ARA。而混合路由則結合了二者的優點，比如AntAODV。