[發明專利]基于雙曲正割學習率因子的Q路由方法

有效

• 申請號: 201910940701.6
• 申請日: 2019-09-30
• 公開（公告）號: CN110691364B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 黃慶東;袁潤芝;李曉瑞
• 申請（專利權）人: 西安郵電大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W24/06;H04W40/02;H04W40/12;H04W84/18;G06N20/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 程曉霞

本發明公開基于雙曲正割學習率因子的Q路由方法，在路由中使用適應性更好、性能更穩健的雙曲正割算子，根據網絡不同情況自適應地調節路由；繼承了Q路由中對網絡路由進行自適應決策的特點，解決了原有算法中附加學習率因子調節能力有限的問題，采用調節范圍覆蓋全面的雙曲正割調節因子，使訓練前期Q值更加可靠，路由性能更加穩健，網絡中數據從信源節點到信宿節點的平均遞交時間降低；只需要利用局部鄰居節點信息及數據包信息即可實現路由選擇，避免過大的網絡開銷，適合于無線自組織網絡。本發明能有效地減少網絡在高、低負載時數據的平均遞交時間，降低路由間的振蕩，提高數據包的投遞率。

技術領域

本發明屬于通信技術領域，涉及無線自組織網絡的Q路由，具體是基于雙曲正割學習率因子的Q路由方法，用于無線自組織網絡。

背景技術

多年來，關于無線自組織網絡的路由研究一直是熱點問題。無線自組織網絡通過多跳節點進行通信，尤其適用于在緊急環境中的網絡部署，節點獲取環境中的信息，并進行信息的交互。無線自組織網絡中沒有固定的基礎設施，網絡中沒有集中控制的節點，節點間通過自組織成網來進行通信。在移動自組織網絡中，節點的移動導致拓撲不斷變化。傳統路由算法中由于靈活性差、計算復雜度高等原因，不能適應高度變化的網絡拓撲變化給網絡路由帶來的極大挑戰，而且已有的基于對流量和網絡狀況改變大量假設的路由技術越來越被認為不適合復雜、高度變化條件的移動無線延遲容忍網絡。事實上，假設條件如果在現實網絡不能滿足，網絡性能與預期模擬性能將存在很大偏差。在這些方面所做的工作主要有：對節點隊列長度進行檢測，利用各節點反饋的時延信息更新網絡，從環境交互中進行學習，權衡路由中探索與利用的關系。

強化學習適用于解決與分布式系統相關的優化問題，Q學習(Q-learning)是強化學習中最常用的學習方法。Q學習的作者Watkins證明了只要在所有狀態下對所有動作進行重復采樣，Q學習就能以概率1收斂到最佳動作值。因此，Q學習是延遲強化學習中應用最廣泛和最有效的學習方法，并被應用在Q路由算法中，然而收斂速度仍然是一個懸而未決的問題。自適應全回波Q路由(AQFE)算法是近年來被提出的一種基于Q學習獲得最優遞交延遲的逐跳Q路由方法；它具有前期學習包數要求低、狀態空間小以及動作空間較小等特點，廣泛應用于無線自組織網絡中。目前，在實際應用中發現，Q路由普遍存在的下列問題在AQFE及AQFE-M中依然顯著：1.訓練前期Q值有較長時間不可靠；2.收斂到最優解速度慢；3.參數的穩健性差，算法性能不穩定。

現有技術以上的缺陷，限制了網絡中路由性能的提高，導致網絡時延增加，算法收斂速度比較慢，算法性能不穩定。從而影響了基于Q學習的路由算法的應用性能。

發明內容

本發明的目的在于克服上述已有技術的不足，提出一種自適應調節范圍廣、路由性能穩健性更高的基于雙曲正割學習率因子的Q路由方法。

本發明是一種基于雙曲正割學習率因子的Q路由方法，其特征在于：包括如下步驟：

步驟1布局網絡拓撲：在一塊矩形平面區域內布置N個同構的無線自組織網絡節點，或在m×m的矩形區域內根據動態隨機游走模型布置M個移動節點，節點的通信距離為r，根據通信距離建立節點間的聯接關系，形成網絡拓撲；

步驟2建立網絡Q值表：將網絡中信源節點為o，信宿節點為d的數據包表示為P(o,d)；網絡中每一節點對應于其它任一信宿節點經由某一鄰居節點傳輸數據包時建立一個Q值變量，簡稱Q值，用來表示數據包經由此節點通過某一鄰居節點傳遞到其它任一信宿節點所需的時間代價估計；將網絡中當前節點x對應于信宿節點d經由鄰居y的Q值表示為Q_x(d,y)，其中y為x的任一鄰居節點；當前節點x遍歷所有不同鄰居和所有不同信宿節點的Q值，構成了當前節點的本地Q值表，所有節點的本地Q值表構成了整個網絡的Q值表；Q值表中Q_x(d,y)值的大小表示當前節點x將數據包經由鄰居y傳遞到信宿節點d的估計時間代價；