[發明專利]利用強化學習進行無線資源管理的方法和單元

有效

• 申請號: 201680090129.3
• 申請日: 2016-10-13
• 公開（公告）號: CN109845310B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 弗朗西斯科·達維德·卡拉布雷斯;帕布羅·索達蒂;貢納·彼得斯;尤哈娜·加迪米
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04W24/08
• 分類號: H04W24/08;H04W28/16;H04W72/04
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鄭樂;臧建明

代理節點(210，500)及其中的方法(600)，用于配置通信系統(200)的無線小區(215)的無線資源參數。該代理節點(210，500)配置為獲取控制策略(430)；確定表示在第一時間段該通信系統(200)的至少一部分的狀態的特征；基于該獲取的控制策略(430)和該確定的至少一個特征，確定在該第一時間段對該無線小區(215)中的控制執行的控制動作，該控制動作來自與該無線小區(215)相關聯的一組可用控制動作；以及基于該確定的控制動作配置該無線小區(215)的指令。此外，公開了用于基于接收的參數向代理節點(210，500)提供控制策略(430)的對應訓練機節點(400)和方法(800)。

技術領域

本文描述的實施方式一般涉及網絡接入單元和網絡接入單元中的方法。特別地，本文描述了一種用于配置通信系統的無線小區的無線資源參數的機制。

背景技術

在諸如第三代合作伙伴計劃(3GPP)長期演進(LTE)系統的現有技術無線接入網絡中的無線資源管理(RRM)包括若干問題，包括功率控制、無線資源調度、鏈路自適應、負載平衡、無線天線傾斜、小區范圍擴展以及用戶與無線小區的關聯等。每個RRM問題可能需要控制某個無線資源參數(例如，一個或多個eNodeB的下行鏈路傳輸功率、一個或多個用戶設備的上行鏈路發射功率、一個或多個eNodeB的電傾斜等)，或者控制給定控制算法的參數(例如，用于執行小區切換的閾值、用于選擇要分配給用戶設備的一個或多個射頻載波的閾值等)，或者分配共享無線資源的一部分(例如，時間-頻率資源塊)到用戶設備。由用戶設備報告的無線環境測量以及由無線接入網絡節點執行的無線測量提供RRM算法所需的基本信息來控制一個或多個網絡操作。無線環境測量包括例如參考信號接收功率(ReferenceSignal Received Power,RSRP)、信噪比(Signal to Noise Ratio，SNR)、干擾、信道質量指示符(Channel Quality Indicator，CQI)、信道狀態信息(Channel State Information，CSI)等。

傳統上使用專用算法來應對不同的RRM問題，該算法優化一個特定RRM任務的網絡操作，但是通常不能將相同的算法重用于其他RRM任務。此外，在RRM架構中，不同的RRM任務相互影響或需要相互交互。當RRM任務在相關的關鍵時間限制內無法完全完成或者只有其他RRM任務的部分信息可用時，這會引入大的信令開銷、額外的復雜性以及可能的性能下降。

將UE接入異構網絡的方法存在改進的空間。

發明內容

因此，目的是消除至少一些上述缺點并改進通信系統的無線資源管理。

通過所附獨立權利要求的特征實現該目的和其他目的。根據從屬權利要求、說明書和附圖，進一步的實施方式是顯而易見的。

根據第一方面，提供了一種用于配置通信系統的無線小區的無線資源參數的代理節點。該代理節點配置為獲取控制策略。此外，該代理節點配置為確定表示在第一時間段通信系統的至少一部分的狀態的至少一個特征。該代理節點還配置為基于所獲取的控制策略和所確定的至少一個特征，確定將被執行以用于在第一時間段配置無線小區中的無線資源參數的控制動作，該控制動作來自與該無線小區相關聯的一組可用控制動作。此外，該代理節點配置為基于所確定的控制動作配置無線小區的無線資源參數。

從與無線環境的算法交互收集測量，通過使用該測量自主學習不同的無線資源管理策略，可以進行任意無線資源參數的適當調整。因此，提供了基于學習網絡環境性能的無線資源管理，其可以適應無線環境條件的變化而無需手動調整。從而可以更好地管理無線資源，從而提高網絡性能。