[發明專利]一種基于增強學習的無線體域網路由方法

有效

• 申請號: 201410176028.0
• 申請日: 2014-04-28
• 公開（公告）號: CN103974366B
• 公開（公告）日: 2017-08-01
• 發明（設計）人: 陳志;寶磊;王東;岳文靜;朱彥沛;高陽陽;高顯強
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04W40/02
• 分類號: H04W40/02;H04W84/18
• 代理公司: 南京經緯專利商標代理有限公司32200
• 代理人: 葉連生

技術領域

本發明涉及一種無線體域網路由方法，主要利用增強學習來解決提高無線體域網的能量效率問題，屬于無線體域網、機器學習的交叉技術應用領域。

背景技術

微電子、計算機和無線通信技術的進步，推動了低功耗多功能傳感器的快速發展，使其在微小體積內能夠集成信息采集，數據處理，和無線通信等多種功能，無線體域網是由部署在監測人體區域內的廉價微型傳感器節點組成，通過無線通信方式形成的一個多跳的自組織網絡系統，其目的是協作感知，采集和處理網絡覆蓋人體區域中感知對象的信息，并發送給觀察者。如果說因特網構成了邏輯上的信息世界，改變了人與人之間的溝通方式，那么無線體域網網絡就是將邏輯上的信息世界與客觀上的物理世界融合在一起，改變人類與自然界的交互方式。人們可以通過傳感器網絡客觀的感知世界，從而極大地擴展了現有網絡的功能和人類認識世界的能力。因此無線體域網在未來的應用中有著巨大的潛力。

網絡的迅猛發展，對于網絡的使用范圍越來越寬廣，而集傳感器技術、微機電系統技術、無線通信技術、嵌入式計算機技術、分布式信息處理技術和無線通信技術于一體的無線傳感器網絡就成為當今研究的熱點。無線體域網網絡是一個多學科交叉的綜合性科學研究領域，對于其人體網絡所分布的區域內的各種身體指標和檢測對象的信息能夠進行實吋的監控、感知和采集，并且將這些信息先進行處理，然后通過無線方式傳輸給監控主機或者需要使用這些信息的醫護人員。

無線體域網網絡是一種自組織網絡，它通過路由算法以多跳的方式傳送信息。路由算法在無線體域網中發揮著重要作用，它對各節點的能耗，壽命以及質量起著決定性的作用。建立理想路由的前提是要探測到傳感器網絡的拓撲結構。

增強學習(Q學習)是這樣的一種學習方式，它是一個通過與環境的不斷交互得到反饋，從而不斷試錯，最終找到最優解的過程。增強學習算法分為有模型學習算法以及無模型學習算法，本人通過調研國內外文獻，發現比較與無線體域網相近的無線傳感網以及無線自組織網絡中的路由算法。增強學習的算法一開始是根據瞬時分差算法，并將特征值設置為0改進而來的，也是只考慮一步狀態。根據智能化節點所處環境的不同，在網絡系統中馬爾可夫決策實際上就是指智能化節點從當前的某一狀態轉換到下一個狀態的狀態轉移概率和立即回報值，這些值僅取決于目前的狀態以及后續動作，以前的狀態對于這些參數及函數沒有任何影響。動態規劃算法也是基于馬爾科夫決策過程的，同時也是基于模型化的，屬于有模型學習折扣型的技術，動態規劃法則利用值函數尋求最優解，利用相關函數即可適用迭代法。動態規劃法是基于有模型的增強學習算法，系統利用動態規劃法必須有特定的環境被感知到，在無線體域網中，環境是可變的，并不適用于動態規劃方法。

增強學習算法是由沃特金森在1989年提出的增強學習算法，作為馬爾可夫過程的一種，是馬爾科夫決策過程的不同變換形式，被業內專家也稱作是離策略瞬時分差學習。增強學習算法相對于其他學習算法來說是較為簡單的，并且非常方便研究人員使用，原因在于增強學習函數收斂速度較快，這也使得增強學習算法成為近期研究的重點以及熱點，在增強學習領域，被稱作引領增強學習發展的風向標。

增強學習的實質上就是將智能化節點通過對其狀態和動作這兩個比較對來重新計算增強學習中所包含的值函數，并進行新的學習，在與環境的交互中，不斷更新Q值表，最終找到最終最優解方法。

在增強學習算法中，系統中智能化節點都已設置完成，不斷感知周圍環境，首先初始化內部Q值表，智能化節點在t時刻，處于某一狀態S下以特定概率選擇目前為止最高的Q值表，得到關于狀態、動作、獎賞值、以及概率組成的四元組，利于增強學習函數進行收斂。

綜上所述，Q值的更新根據不斷的迭代學習才可以獲得Q值的最優解，那么只要無線體域網中的智能化節點達到了系統所要求的目標狀態，可以認為第一次學習結束，即將進入第二次學習狀態，這樣周而復始的迭代，使得無線體域網智能化節點不斷地感知周圍環境進行學習，不斷循環整個學習過程，直到取得最優Q值解，完成整個的增強學習過程。