[發明專利]一種基于深度強化學習的智能通信波束碰撞避免方法

有效

• 申請號: 202110503924.3
• 申請日: 2021-05-10
• 公開（公告）號: CN113242068B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 黃永明;葛瑤;何偉梁;張鋮;吳珩
• 申請（專利權）人: 東南大學
• 主分類號: H04B7/0456
• 分類號: H04B7/0456;H04B7/0408;H04B7/06;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 孫建朋

本發明公開了一種基于深度強化學習的智能通信波束碰撞避免方法，首先建立關于基站簇工程參數的最小化平均總波束碰撞參數的優化問題。接著根據波束碰撞參數、波束域信道信息與信干噪比以及頻譜效率的關系，將原始優化問題轉化為與波束域統計信道信息強相關的平均頻譜效率最大化問題。基于強化學習框架，將基站簇工程參數的調優過程建模成馬爾科夫決策過程，并根據實際優化問題設計合理的狀態、動作和獎勵信息。最后，利用深度強化學習優化算法，實現基站簇與無線通信環境的交互，并根據波束域統計信道信息進行基站簇工程參數的自適應調整，避免波束碰撞。該方法具有復雜度較低、與實際無線通信環境匹配度較好、性能優異特點。

技術領域

本發明屬于無線通信網絡優化和智能通信領域，尤其涉及一種基于深度強化學習的智能通信波束碰撞避免方法。

背景技術

隨著無線通信技術的不斷發展，高速增長的移動數據業務和海量的接入需求對新一代移動通信技術提出了高容量、低功耗、低延時等需求。為進一步提高無線通信系統的容量，新一代無線通信系統廣泛采用大規模天線陣列與波束賦形技術來獲得更高的信道增益，但由于網絡的密集化部署，使得無線通信網絡的規劃和優化出現新的挑戰。特別在多小區多用戶通信系統中，每個小區同時為多個用戶發射多個波束，波束碰撞現象嚴重，波束間干擾增強，嚴重影響數據的有效傳輸，導致網絡性能的急劇下降。

波束碰撞可以理解為多個波束同時覆蓋某個區域而產生的波束之間的重疊現象，但目前鮮有研究給出準確的定義和相應的數學模型。由于波束碰撞會產生較強的波束間干擾，故現有研究往往通過處理波束間干擾來避免波束碰撞，但是并未給出波束碰撞和波束間干擾以及網絡性能指標之間的具體關系。

由于波束碰撞與無線通信環境特征具有極大的相關性，故用戶位置分布和基站簇工程參數會對其產生重要影響。在優化基站簇工程參數方面，傳統方法往往采用人工經驗或者模型假設，較難根據實際用戶位置分布進行自適應調整。此外，由于數據采集成本和技術的限制，實際通信網絡中很難實現基于瞬時性能的細粒度優化，因此需要考慮適合于提升網絡平均性能的基站簇工程參數優化方案。

目前新一代無線通信系統可通過波束訓練來感知無線通信環境，從而根據獲得的波束域信道信息輔助信道估計和傳輸設計。與此同時，深度強化學習充分結合了深度神經網絡的學習能力與強化學習與環境交互的學習機制，使其可實現根據環境特征的自適應決策。因此，基于深度強化學習的波束碰撞避免方法在無線通信網絡數據的驅動下，充分挖掘環境中的波束域信道信息等特征，在實現基站簇工程參數的智能優化的同時，有效避免波束碰撞，提升網絡性能。

發明內容

本發明目的在于提供一種基于深度強化學習的智能通信波束碰撞避免方法,以解決現有技術中波束碰撞概念不清晰、優化模型較難適用到實際通信場景，優化成本較大，優化方案很難落地實現的技術問題。

為解決上述技術問題，本發明的具體技術方案如下：

一種基于深度強化學習的智能通信波束碰撞避免方法，包括以下步驟：

步驟1、構建多天線多小區下行通信系統模型，定義波束碰撞事件以及波束碰撞參數，建立關于基站簇工程參數的最小化平均總波束碰撞參數的原始優化問題；

步驟2、根據波束碰撞參數和波束域信道信息與信干噪比以及頻譜效率的關系，將步驟1中所述的原始優化問題近似轉變成依據波束域統計信道信息最大化平均頻譜效率的優化問題；

步驟3、針對步驟2中所述的優化問題，在強化學習的框架下，將多天線多小區下行通信系統當作環境，基站簇當作智能體，并將基站簇工程參數的調優過程建模成馬爾科夫決策過程，然后對其狀態、動作以及獎勵函數進行具體設計；

步驟4、基于步驟3所述強化學習框架，利用深度強化學習算法，在基站簇與無線通信環境的交互下，根據波束域統計信道信息進行基站簇工程參數的自適應調整，避免波束碰撞，提高平均頻譜效率。