[發明專利]基于深度強化學習的AI智慧節能動態控制方法

有效

• 申請號: 202110037945.0
• 申請日: 2021-01-12
• 公開（公告）號: CN112866021B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 郭洋;王倩;華奇兵
• 申請（專利權）人: 中移（成都）信息通信科技有限公司;東聯信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04W52/02;G06N3/08;G06N3/04
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

1.基于深度強化學習的AI智慧節能動態控制方法，其特征在于，包括：

步驟(1)、獲取環境狀態信息，所述環境狀態信息包括4G狀態指標、5G狀態指標、話務量數據信息以及投訴萬投比；4G狀態指標包括接入性指標，5G狀態指標包括5G在服比；

步驟(2)、根據環境狀態信息建立環境模型，包括：將節能控制問題建模為馬爾科夫決策過程模型，并定義其中的狀態，動作以及獎賞函數；

所述定義狀態的具體方法包括：

選擇投訴萬投比、接入性指標、5G在服比指標以及話務量數據信息為環境狀態信息；

設t時刻，投訴萬投比為M_t、接入性指標為M_j、5G在服比指標為M_z，此時話務量數據信息為M_h，則狀態S_t＝(M_t，M_j，M_z，M_h)；

步驟(3)、在環境模型中加入雙網絡DQN算法，通過雙網絡DQN算法獲取節能控制策略；

步驟(4)、通過節能控制策略生成對應的節能控制指令，并通過節能控制指令進行節能動態控制。

2.根據權利要求1所述的基于深度強化學習的AI智慧節能動態控制方法，其特征在于，在步驟(1)中，所述4G狀態指標包括：MR指標，保持性指標，業務量遷移比，資源利用率指標以及信令連接比指標。

3.根據權利要求2所述的基于深度強化學習的AI智慧節能動態控制方法，其特征在于，在步驟(1)中，所述5G狀態指標包括：雙連接用戶數，雙連接終端數，雙連接添加嘗試次數，5G KPI達標率、以及業務量遷移比。

4.根據權利要求3所述的基于深度強化學習的AI智慧節能動態控制方法，其特征在于，在步驟(1)中，所述環境狀態信息還包括：外部氣象因素。

5.根據權利要求4所述的基于深度強化學習的AI智慧節能動態控制方法，其特征在于，所述定義動作的具體方法包括：

設置4G增容層業務量權重值為θ_Z、4G覆蓋層業務量權重值為θ_f、4G轉5G預測業務量權重值為θ_C、5G SA預測業務量權重值為θ_S、5G NSA預測業務量權重值為θ_N以及4G峰值業務量權重值為θ_m；

若t時刻采取的動作為調高或調低業務量的權重值，則其動作a的集合為，a＝{[θ_Z0，θ_f0，θ_C0，θ_S0，θ_N0，θ_m0]，[θ_Z1，θ_f1，θ_C1，θ_S1，θ_N1，θ_m1]，...，[θ_Zn，θ_fn，θ_Cn，θ_Sn，θ_Nn，θ_mn]}。

6.根據權利要求5所述的基于深度強化學習的AI智慧節能動態控制方法，其特征在于，所述定義獎賞函數的具體方法包括：

選擇5G KPI達標率K以及投訴萬投比T作為評測指標；

若K＜90％或者T＞100，則設置獎賞函數r＝-1；

若K＞90％，并且T＜100，則獎賞函數r＝W1(E_reward)+W2(K_reward)+W3(T_reward)，W1、W2以及W3分別表示權重參數，E_reward表示節能獎勵參數，K_reward表示KPI獎勵參數，T_reward表示投訴比獎勵參數，E_max表示基站站點最大能耗，E_t表示t時刻基站站點能耗。