[發明專利]一種基于認知學習的無線自組網絡多徑路由方法

有效

• 申請號: 201910364756.7
• 申請日: 2019-04-30
• 公開（公告）號: CN110191053B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 郭喆;丁良輝
• 申請（專利權）人: 上海微波技術研究所（中國電子科技集團公司第五十研究所）;上海交通大學
• 主分類號: H04L12/709
• 分類號: H04L12/709;H04L12/761;H04W40/12
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于認知學習的無線自組網絡多徑路由方法，將傳輸數據進行優先級分類，低優先級路徑由為隨機路由表路徑，而高優先級路徑，則需要考慮鄰節點緩沖隊列長度以及節點的鏈路質量作為路徑選擇的依據，將高優先級的數據路由選擇過程建模成一個馬爾可夫決策過程，通過鄰節點之間的局部信息交互，建立基于分布式值函數的強化學習機制。本發明能夠有效減少高優先級數據的傳輸延時，能夠提高分組到達率，并且在一定程度上進行負載均衡。

技術領域

本發明涉及一種無線自組網通信領域，尤其是涉及一種基于認知學習的無線自組網絡多徑路由方法。

背景技術

隨著無線自組網的迅速發展，無線網絡路由技術關注點從傳統的減少網絡延時、提高網絡帶寬利用等等，向考慮能量的高效利用、均衡、健壯性、簡潔性以及提高數據傳輸可靠性、平衡網絡流量、提供Qos保證、減少傳輸延時等方面轉移。

傳統的多徑路由協議研究都是通過在最短路徑上發送數據以滿足緊急數據對服務質量的要求，而沒有考慮到多條最短路徑存在的可能性以及網絡狀況的實時變化，所以需要有一種新的有效的多徑路由方法來改進上述問題。

發明內容

為了解決上述技術問題，本發明提供了一種基于認知學習的無線自組網絡多徑路由方法。

本發明是根據以下技術方案實現的：

一種基于認知學習的無線自組網絡多徑路由方法，將無線自組網路中的每一個節點都看作具有獨立學習能力的個體，將整個網絡構成一個分布式智能系統，再把節點的路由選擇過程建模為馬爾可夫決策過程，節點路由選擇時考慮數據優先級、鏈路質量和鄰居節點隊列長度網絡實時信息，從鄰居節點集合中選擇一個當前網絡狀況下性能最優的節點作為數據包傳輸的下一跳節點，基于狀態聚類，減少節點學習時的狀態空間和復雜性，其特征在于，包括如下步驟：

設置有N個節點的無線自組網路，假設網絡中所有節點的路由表中已保存到終端節點的所有最短路徑，當某個節點的數據緩沖隊列不為空，即該節點有通信需求時啟動路由發現機制，在通信范圍內的多個下一跳鄰居節點中選擇一個進行數據的傳輸，其中N為正整數。

上述技術方案中，數據的傳輸的過程具體包括：

當節點i有通信需求時，若所要發送的數據優先級為高，則向其路由表中保存的所有下一跳鄰居節點組播路由請求包RREQ，領域節點收到RREQ消息后，會根據接收到的RREQ消息的強度，計算自身與發送節點之間的鏈路質量，同時讀取自身的緩沖隊列長度，然后向節點i發送路由應答RREP，并在RREP消息中附上上述鏈路質量和緩沖隊列長度；節點i在收到所有鄰居節點回送的RREQ消息后，根據自身與各鄰居節點之間的鏈路質量、鄰居節點的隊列長度做出決策，從鄰居節點中選擇符合要求的一個作為下一跳節點，并發送數據；若發送數據的優先級為低，節點則從路由表中隨機挑選一個鄰居作為下一跳節點。

鄰居節點j在收到上一節點i發送的數據之后，若緩沖隊列不為滿，則將數據包放入隊列，并向上一節點發送ACK確認信息；若隊列己滿，則丟棄相應的數據包，并向發送節點發送NACK信息；若節點i在一段時間之后既未收到ACK也未收到NACK消息，則認為數據包在傳輸過程中丟失，重新發送數據包直至收到確認信息或者達到最大重傳次數為止，此時認為當前數據包的發送己完成；隨后，節點i會檢查自身的緩沖隊列，若隊列中有數據包存在，則進入下一個數據包的路由選擇過程，否則，節點i一直等待直到下一個數據包的到達，其中i和j為大于0小于N的正整數。

上述技術方案中，在馬爾可夫決策過程中，智能體根據自身當前的狀態執行可選行動集中的一個行動，所選擇的行動為當前狀態下的狀態行動值最小的一個，行動結束后，智能化會獲得一個立即代價，此代價是對智能體當前行動好壞的一個評價，然后智能體利用此立即代價對當前的狀態行動值進行更新。

與現有技術相比，本發明具有如下的有益效果：