[發明專利]基于深度強化學習的信道接入和能量調度方法、裝置

在審

• 申請號: 202310130805.7
• 申請日: 2023-02-02
• 公開（公告）號: CN116113038A
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 羅勝;王曉桐;伍楷舜
• 申請（專利權）人: 深圳大學
• 主分類號: H04W72/044
• 分類號: H04W72/044;H04W72/0446;H04W72/53;H04W52/02;G06N3/045;G06N3/092
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏;陳麗

本發明涉及基于深度強化學習的信道接入和能量調度方法及系統，屬于無線通信領域，針對無線設備處于一個能量緊缺和有限狀態觀察值的應用場景，比如工作在地震災區等難以頻繁使用人力干預的無線設備，本發明方法能夠使用分布式的深度強化學習的神經網絡得到一個比較優秀的能量調度和信道接入策略，不僅使無線設備能夠具有一定的能量管理和調度能力，而且盡可能的減少無線設備之間的信息碰撞，同時提高整個通信系統的吞吐量。

技術領域

本公開涉及無線通信，尤其涉及一種基于深度強化學習的信道接入和能量調度方法、裝置。

背景技術

根據報道，無線網絡中的物聯網設備逐漸增加，并且將在未來達到一個非常大的數量，同時物聯網設備工作通常是會消耗能量的，但是設備的電池是有限的，這就需要人工更換物聯網設備的電池，使得整體的維護費用提高。

萬幸的是，近年來興起的能量收集(Energy?Harvesting，簡稱EH)技術可以使得物聯網設備能夠有能力從周圍環境中收集能量從而實現電量的循環。但是這項技術同樣也有一個比較大的問題，那就是無線設備從環境中收集到的能量是隨機的，不可預測的，這就要求無線設備能夠具有一定的能量管理和調度系統，使得自己能夠在比較復雜的能量環境中合理的調度自己的能量消耗，盡可能的使得自己能夠工作更久的時間。

在近年來，對于帶有EH的無線通信系統，一些學者研究了許多的接入策略和能量調度的方法來使得網絡可以有效低利用收集到的能量提高吞吐量，具體的方法可以分為以下三種：

(1)傳統方法是使用動態規劃等算法來對通信系統進行整體的動作規劃，其主要缺陷是需要知道系統的全部信息，但是在實際情況下非常難實現。

(2)傳統的方法由于要求已知系統的參數而不具有太大的實際應用價值，所以基于學習的方法開始逐漸出現并被應用到帶有能量收集的無線通信系統中。但基于強化學習的方法會隨著系統規模的變大而占用較大的空間。

(3)近年來，研究人員成功將強化學習和深度學習相結合，其誕生出來的產物深度強化學習(其中深度Q網絡DQN，即Deep-QNetwork，簡稱DQN，比較具有代表性)可以有效的提高穩定性并且處理大規模的狀態空間，已經有一些學者將其應用到無線通信網絡中以提高網絡的吞吐量。雖然深度強化學習在一定程度上解決了上述的問題，但是當前的深度強化學習是采用集中式，集中式的深度強化學習要求有一個“中央控制器”，這個控制器需要知道系統全部的信息，比如信道狀態，UE的能量等等，然后才能做出決策，而實際上缺乏一種設備能夠扮演這種角色，所以集中式的深度強化學習在無線通信網絡中存在局限性。

發明內容

針對上述現有技術，本發明的目的是提供一個比較優秀的能量調度和信道接入方法，其采用一種“分布式的深度強化學習”的方法，將其應用到通信模型中，各個UE自行利用自己的狀態觀察值，做出相應的決策。實驗結果表明，本發明方法具有可行性，其不僅使無線設備能夠具有一定的能量管理和調度能力，而且能盡可能的減少無線設備之間的信息碰撞，同時提高整個通信系統的吞吐量。所述分布式的深度強化學習是指的是為每個無線設備都配備一個神經網絡，由設備自己通過自己的觀察值自行做出決策。

為了解決實現上述目的，本發明的技術方案如下。

第一方面，本發明提出了一種基于深度強化學習的信道接入和能量調度方法，用戶設備模塊獲取用戶設備UE?i的前T1個時隙信息在每個信道發送成功與否的狀態和用戶設備UE?i的電池剩余容量作為輸入信息，將輸入信息輸入該用戶設備UE?i對應的訓練好的深度強化學習網絡，深度強化學習網絡輸出用戶設備UE?i的最優動作，i＝1，2，…，N，N為用戶設備UE總數，大于等于信道數；其中：T1為設定值；所述動作為用戶設備UE?i在時隙t時刻選擇消耗能量發送信息給接入點或用戶設備UE在時隙t時刻選擇掛起不發送信息。