[發明專利]基于深度強化學習的AI智慧節能動態控制方法

有效

• 申請號: 202110037945.0
• 申請日: 2021-01-12
• 公開（公告）號: CN112866021B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 郭洋;王倩;華奇兵
• 申請（專利權）人: 中移（成都）信息通信科技有限公司;東聯信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04W52/02;G06N3/08;G06N3/04
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

本發明涉及5G節能領域，具體涉及一種基于深度強化學習的AI智慧節能動態控制方法，極大地降低了對人工運維以及人工經驗分析的依賴，提高了自動化節能的控制。技術方案概括為，獲取環境狀態信息，所述環境狀態信息包括4G狀態指標以及5G狀態指標；根據環境狀態信息建立環境模型；在環境模型中加入雙網絡DQN算法，通過雙網絡DQN算法獲取節能控制策略；通過節能控制策略生成對應的節能控制指令，并通過節能控制指令進行節能動態控制。本發明適用于5G基站的節能控制。

技術領域

本發明涉及5G節能領域，具體涉及一種基于深度強化學習的AI智慧節能動態控制方法。

背景技術

在工業互聯網領域，實現工業設備的節能降耗目標，實現綠色發展，降本增效，是企業發展的重點方向。

對于列入國家新基建反范疇的運營商網絡，對于其運營，如何平衡網絡性能/用戶感知與網絡能耗，將影響網絡長期的運營效果。

目前現有的技術，關于節能控制，一方面是是單純從網絡負荷的均衡性出發開展網絡流量的遷移/切換控制；另一方面遷移的方向是由運維網優人員通過軟件參數進行控制，持續性及準確性難以保證。

而現有的4G,5G小區節能技術，更多的是監測本小區的業務流量，從而進行節能操作，缺失區域內的各小區間整體網絡業務量的監控，而對于節能時段和節能觸發門限的控制，也是由人員來設定，人員的數據分析能力及運維技能及經驗在工作中占了比較大的比重。

上述技術的缺陷為：

(1)單純從網絡負荷的均衡性出發開展網絡流量的遷移/切換控制，無法保證實時性；

(2)由運維網優人員通過軟件參數進行控制，持續性及準確性難以保證；

(3)由于缺乏統計學方法，門限控制等一些重要參數均由人員設置，人工的數據分析能力及運維技能及經驗在工作中占了比較大的比重。

發明內容

本發明的目的是提供一種基于深度強化學習的AI智慧節能動態控制方法，極大地降低了對人工運維以及人工經驗分析的依賴，提高了自動化節能的控制。

本發明采取如下技術方案實現上述目的，基于深度強化學習的AI智慧節能動態控制方法，包括：

步驟(1)、獲取環境狀態信息，所述環境狀態信息包括4G狀態指標以及5G狀態指標；

步驟(2)、根據環境狀態信息建立環境模型；

步驟(3)、在環境模型中加入雙網絡DQN算法，通過雙網絡DQN算法獲取節能控制策略；

步驟(4)、通過節能控制策略生成對應的節能控制指令，并通過節能控制指令進行節能動態控制。

進一步的是，在步驟(1)中，所述4G狀態指標包括：MR指標，保持性指標，接入性指標，業務量遷移比，資源利用率指標以及信令連接比指標。

進一步的是，在步驟(1)中，所述5G狀態指標包括：雙連接用戶數，雙連接終端數，雙連接添加嘗試次數，5G在服比、5G KPI達標率、以及業務量遷移比。

進一步的是，在步驟(1)中，所述環境狀態信息還包括：話務量數據信息、投訴萬投比以及外部氣象因素。

進一步的是，在步驟(2)中，根據環境狀態信息建立環境模型包括：將節能控制問題建模為馬爾科夫決策過程模型，并定義其中的狀態，動作以及獎賞函數。

進一步的是，所述定義狀態的具體方法包括：

選擇投訴萬投比、接入性指標、5G在服比指標以及話務量數據信息為環境狀態信息；