[發明專利]一種應用于蜂窩網絡的基于深度強化學習的動態多信道接入方法

有效

• 申請號: 202011055360.3
• 申請日: 2020-09-30
• 公開（公告）號: CN112188503B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 徐友云;李大鵬;蔣銳
• 申請（專利權）人: 南京愛而贏科技有限公司;南京南郵通信網絡產業研究院有限公司
• 主分類號: H04W16/10
• 分類號: H04W16/10;G06N3/08
• 代理公司: 北京沁優知識產權代理有限公司 11684
• 代理人: 王麗君

本發明公開了一種應用于蜂窩網絡的基于深度強化學習的動態多信道接入方法，其技術方案要點是包括提供信道分配系統以及若干用戶終端，信道分配系統與用戶終端通信連接；信道分配系統內配置有遵循部分可觀測馬爾可夫鏈的動態多信道模型，動態多信道模型根據當前時隙的各信道狀態通過最優策略算法計算下一時隙的最優信道分配方式，最優策略算法通過深度強化學習方法進行訓練優化。該方法通過深度強化學習避免了龐大的指數級計算量，在保證用戶終端通信質量的前提下，使得用戶終端可以快速接入最優信道，提高頻譜利用率。

技術領域

本發明涉及通信技術領域，更具體的說是涉及一種應用于蜂窩網絡的基于深度強化學習的動態多信道接入方法。

背景技術

無線頻譜是無線通信中的一種有限而珍貴的自然資源，現有無線通信是采取基于授權的方法分配頻譜，即將無線頻譜劃分成若干固定寬度的頻譜段，由政府管理部門分配給用戶終端單獨使用。但是隨著無線通信技術的迅速發展以及新業務的不斷增長，加之，頻譜利用率的低效帶來的頻譜資源短缺的問題，頻譜資源變得越來越稀缺，日益稀缺的頻譜已經無法滿足無線通信日益增長的需求。這一現象也促進了高效地動態頻譜接入方案的發展，以迎合新興的無線網絡技術。其中認知無線電技術已經成為提高頻譜利用率的關鍵技術，該技術的主要思想是檢測哪些頻譜處于空閑狀態，然后智能選擇和接入這些空閑頻譜，這樣能夠大大提高頻譜利用率。

作為認知無線電技術的關鍵技術之一的動態頻譜接入技術的研究正在展開，現有的方法主要是馬爾可夫建模，即將用戶終端的動態頻譜接入過程建模成馬爾可夫模型。用二維或者多維的馬爾可夫鏈精確的描述接入過程。通過馬爾可夫建模雖然能夠提高頻譜利用率，但是對環境的要求較高，且系統沒有經過學習的過程，收斂速度慢。

隨著強化學習的蓬勃發展，給動態頻譜接入技術帶來了新的研究。強化學習是指從環境狀態到動作映射的學習，強化學習著重研究在狀態轉移概率函數未知的情況下，系統如何學習最優行為策略。強化學習對環境知識要求較少，對動態變化環境適應性強，應用到無線網絡時兼容性較好，這些特點都使得強化學習在認知無線電領域的營業具有廣泛的前景。然而，當用戶終端數劇增時，強化學習產生的狀態量也是冪級的，算法復雜度變得非常大，這種指數級計算量導致強化學習難以實際運用。

發明內容

針對現有技術存在的不足，本發明的目的在于提供一種應用于蜂窩網絡的基于深度強化學習的動態多信道接入方法，該方法能夠避免進行龐大的指數級計算，在保證用戶終端通信質量的前提下，使得用戶終端可以快速接入最優信道，提高頻譜利用率。

為實現上述目的，本發明提供了如下技術方案：一種應用于蜂窩網絡的基于深度強化學習的動態多信道接入方法，提供信道分配系統以及若干用戶終端，所述信道分配系統與所述用戶終端通信連接；

所述信道分配系統內配置有遵循部分可觀測馬爾可夫鏈的動態多信道模型，所述動態多信道模型根據當前時隙的各信道狀態通過最優策略算法計算下一時隙的最優信道分配方式，所述信道狀態表征在所述信道上是否成功發送數據，所述最優策略算法通過深度強化學習方法進行優化，所述深度強化學習方法包括以下步驟；

S10，所述信道分配系統內配置有經驗池、主神經網絡以及目標神經網絡，所述經驗池用于存儲數據集，所述經驗池具有容量閥值D，所述容量閥值D表征所述經驗池存儲數據集的最大值，通過所述最優策略算法構建所述主神經網絡和目標神經網絡，所述主神經網絡和所述目標神經網絡的參數均包括信道狀態、執行動作以及神經網絡的權重，所述信道狀態為s，所述執行動作為a，所述執行動作a表征信道的分配方式，所述主神經網絡的權重為w，所述目標神經網絡的權重為w^-，另目標神經網絡的權重等于主神經網絡的權重，并進入S20；

S20，所述信道分配系統根據用戶終端當前時隙分配的信道的信道狀態s，通過預設的分配算法得到下一時隙的執行動作a，并進入S30；