[發明專利]基于深度強化學習的4G與5G網絡間動態頻譜共享方法

有效

• 申請號: 202111098334.3
• 申請日: 2021-09-18
• 公開（公告）號: CN113810910B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 李軒衡;陳幸運
• 申請（專利權）人: 大連理工大學
• 主分類號: H04W16/10
• 分類號: H04W16/10;H04W16/14;H04W24/02
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪

本發明提供一種基于深度強化學習的4G與5G網絡間動態頻譜共享方法。考慮一個單基站覆蓋的蜂窩網絡，將基站視為智能體，其可調度的最小資源單位定義為資源塊，包含時間和頻率兩個維度，基站的共享策略將針對資源塊周期制定，即在每個決策周期內決定哪些資源塊共享用于5G服務供應。本發明以4G網絡服務質量保證和頻譜共享效率為目標，通過深度強化學習使基站能夠根據動態的環境信息不斷改進策略，實現對4G閑置頻譜的高效、合理利用。本發明不依賴特定模型，能夠更加準確地制定共享策略。同時，本發明中基站能夠利用訓練好的神經網絡基于當前環境的觀測量直接制定共享策略，省去基于傳統優化算法的復雜計算，避免了其帶來的不可容忍的延遲。

技術領域

本發明屬于移動通信技術領域，具體涉及一種基于深度強化學習的智能型動態頻譜共享方法。

背景技術

近年來，隨著入網無線設備數量的激增，移動無線通信網絡中的數據流量呈指數級增長，迫使移動通信網絡向第五代(5G)演進。為了支撐海量數據傳輸和新興應用場景，5G網絡需要更多的頻譜資源作為支持，頻譜短缺已成為5G移動通信網絡發展亟需解決的關鍵問題。然而，大量研究表明，在目前固定的頻譜分配策略下，大量授權頻段利用率很低，在部分地區和時段甚至不足20％，這與5G對頻譜的迫切需求形成了強烈的矛盾。因此，如何有效利用有限的頻譜資源，解決頻譜供需矛盾，已成為移動通信領域的焦點難題。

為提高頻譜利用效率，頻譜共享技術被提出并迅速得到廣泛關注，其主要思想是讓非授權用戶在不影響授權用戶正常使用的前提下，機會性地使用空閑的授權頻段。該共享理念已在5G頻譜部署中得到體現，根據不同網絡在不同時段的業務量的不同，動態分配某段頻譜共享用于5G服務提供。頻譜共享對5G發展具有重大意義，一是利于5G使用4G的低頻段實現網絡的泛在覆蓋，比如2021年初中國移動和中國廣電在700MHz頻段上對5G業務的共建共享；二是利于4G向5G平滑演進，在5G初期用戶數量不多時，可以動態地將頻譜資源用于4G用戶使用，而當5G用戶逐漸增多時，可以為5G網絡分配更多的頻譜資源。然而，目前頻譜共享的實施方案主要是大尺度下的靜態共享，即在特定時段和較大區域內對固定頻段進行釋放和共享，靈活度不高，且仍存在頻譜資源浪費現象。因此，更具優勢的動態頻譜共享技術被提出，旨在根據業務需求的實時變化動態分配頻譜資源，從而大幅度提高頻譜利用效率。目前關于4G與5G網絡頻譜動態共享的研究存在以下不足：

一、目前提出的動態頻譜共享方法大多基于傳統的優化理論將問題建成一個全局優化問題，進而得到最優的共享策略。然而，由于網絡環境在空間和時間維度上的動態特性，網絡中的流量需求等相關信息是不確定的，這使得優化建模和求解十分困難，難以實現。

二、動態頻譜共享需要根據網絡的狀態實時調整共享策略，由于實際網絡中通常有大量智能設備接入，數據類型多，信息維度大，即使能夠通過優化手段得到最優策略，其問題求解的較高復雜度將帶來難以容忍的延遲。

三、動態共享4G的頻譜資源會帶來一定的信道容量損失，即降低4G用戶的網絡速率，影響4G用戶體驗。因此，在制定共享策略時，需要前瞻地預測4G網絡流量需求，在保證4G用戶QoS(服務質量)的前提下，準確地制定頻譜資源共享策略。

考慮上述目前研究存在的問題，本發明將基于深度強化學習設計一種以4G網絡性能保證為前提，以頻譜共享效率為目標的智能型4G與5G網絡動態頻譜共享方法，令基站可以通過學習網絡環境快速制定最優策略。

發明內容

本發明的目的是克服目前網絡對頻譜利用的低效性，為移動通信網絡提供一種4G與5G網絡之間動態頻譜共享方法。在移動通信網絡中，不同區域和時段內的流量需求通常不同，且具有一定變化規律，本發明將通過學習不同區域內4G流量需求變化的潛在時間相關性，預測小區的未來4G流量需求，并依此制定相應的頻譜共享策略，即將多余的4G頻譜用于5G服務提供。