[發明專利]基于群智能強化學習的電網最優碳能復合流獲取方法

有效

• 申請號: 201510369060.5
• 申請日: 2015-06-26
• 公開（公告）號: CN105023056B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 張孝順;郭樂欣;余濤;王思橦;譚敏
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅觀祥

1.一種基于群智能強化學習的電網最優碳能復合流獲取方法，其特征在于，步驟如下：

S1、根據電網負荷節點系統構建群智能強化學習系統，然后建立群智能強化學習系統的多目標最優碳能復合流模型目標函數；

S2、在群智能強化學習系統群體的主體更新迭代過程中，根據步驟S1中建立的多目標最優碳能復合流模型目標函數，設置獎勵函數；

S3、按照負荷消耗的能量的差別，把負荷離散化劃分成不同的斷面，根據斷面負荷消耗的能量值確定每個主體i的狀態s_i，然后根據多步回溯Q(λ)學習的資格跡來更新每個主體i的Q_i值矩陣；

S4、計算每個主體i的貪婪動作a_i^g；

S5、根據步驟S3每個主體i更新后的Q_i值矩陣，再更新每個主體i的動作概率矩陣P_i；

S6、根據步驟S5每個主體i更新后的動作概率矩陣P_i，隨機選擇每個主體i當前狀態s_i^k下的預判動作a_i^kp，其中k為群體的當前迭代次數；

S7、根據負荷值確定的狀態s，并協同輸入多個主體，將貪婪動作a_i^g視為各主體i最優動作，然后求解群體最優動作a_i^b；

S8、根據步驟S6得到的每個主體i當前狀態s_i^k下的預判動作a_i^kp以及步驟S7求解得到的群體最優動作a_i^b，更新得到修正后的動作值a_i^k：

其中為每個主體i的動作修正偏差，c₁、c₂為學習因子，r₁和r₂是權重系數；

S9、確定群智能強化學習系統的控制變量矩陣，然后結合步驟S8更新得到群體中各主體i修正后的動作值a_i^k進行潮流計算；進入步驟S10；

S10、潮流計算后，判斷每個主體i的Q_i值矩陣是否收斂，即Q_i值矩陣是否在本次潮流計算過程中保持不變；

若是，則將群體最后一次潮流計算得到的結果作為電網最優碳能復合流；

若否，則回到步驟S2，并且將群體的當前迭代次數加1。

2.根據權利要求1所述的基于群智能強化學習的電網最優碳能復合流獲取方法，其特征在于，所述步驟S1中群智能強化學習系統多目標最優碳能復合流模型目標函數為：

min[μ₁f₁(x)+μ₂f₂(x)+(1-μ₁-μ₂)V_d]；

其中x為控制變量，f₁(x)為非線性函數描述的碳排放損耗分量，f₂(x)為非線性函數描述的有功網損分量；V_d為電網負荷節點系統中電壓穩定分量；μ₁、μ₂為權重系數，μ₁∈[0,1]，μ₂∈[0,1]，μ₁+μ₂≤1；

其中電網負荷節點系統中電壓穩定分量V_d為：

其中n為電網負荷節點系統中負荷節點的數量，V_j為負荷節點j的負荷節點電壓，V_jmax和V_jmin分別是負荷節點j的最大、最小電壓限制。