[發明專利]基于群智能強化學習的電網最優碳能復合流獲取方法

有效

• 申請號: 201510369060.5
• 申請日: 2015-06-26
• 公開（公告）號: CN105023056B
• 公開（公告）日: 2018-10-30
• 發明（設計）人: 張孝順;郭樂欣;余濤;王思橦;譚敏
• 申請（專利權）人: 華南理工大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅觀祥

本發明公開了一種基于群智能強化學習的電網最優碳能復合流獲取方法，步驟為：S1、建立多目標最優碳能復合流模型目標函數；S2、根據目標函數設置獎勵函數；S3、根據資格跡來更新每個主體的Q_i值矩陣；S4、計算每個主體的貪婪動作；S5、更新每個主體的動作概率矩陣；S6、隨機選擇每個主體當前狀態下的預判動作；S7、協同輸入多個主體，求解群體最優動作；S8、更新得到修正后的動作值；S9、確定控制變量矩陣，進行潮流計算；S10、潮流計算后，判斷Q值矩陣是否收斂，若是，將最后一次潮流計算得到結果作為電網最優碳能復合流；否則回S2。本發明方法使電網中的能量流和碳排放流損耗量達到最小，在保證較好全局尋優能力的同時，明顯提高算法的收斂速度。

技術領域

本發明涉及電網無功優化技術領域，特別涉及一種基于群智能強化學習的電網最優碳能復合流獲取方法。

背景技術

隨著溫室效應給環境帶來的影響日益嚴重，低碳經濟逐漸成為各能耗工業的重點發展方向。其中，電力工業作為最大的CO2排放企業，將在低碳經濟發展中擔任重要的角色。現有很多關于低碳電力的相關研究，包括最優潮流、經濟調度、機組組合、碳儲存和碳捕捉等問題。然而，這些研究主要是對發電側的碳排放進行優化，而缺少對如何降低電力網絡的碳排放量進行相關研究。

為此，通過建立電網碳排放流的計算模型，有學者提出了一種多步回溯Q(λ)學習算法，解決了電網側的最優碳流問題。期刊《電力系統自動化》第38卷第17期中公開了《基于多步回溯Q(λ)學習的電網多目標最優碳流算法》的文章，該文章中所用的最優碳流模型并不能清晰地解釋電力網絡中能量流和碳排放流的分布情況。雖然與其它經典優化算法和人工智能優化算法相比較，Q(λ)算法收斂魯棒性更強，但是該算法只依靠單個主體進行尋優，收斂時間較長，難以滿足復雜電網碳流在線滾動優化的實時要求。

群智能(Swarm Intelligence，SI)是人工智能的一個分支學科，受社會昆蟲、動物集體行為的啟發，已經衍生出蟻群、粒子群、蜂群等智能算法，在電力系統領域得到了很好的應用。在群智能算法中，每個群體都會有多個主體，各個主體之間會進行信息交流或任務分工，從而實現協同優化，有效縮短了尋優時間。很自然地，有學者會聯想到把強化學習與粒子群、蟻群算法進行結合，也陸續出現了一般改進性的群智能算法，但這些方法都僅僅停留把群體優化與強化學習在算法流程上進行簡單串行結合，兩類不同性質的算法優勢并未實現真正融合發揮。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提供一種快速、有效的基于群智能強化學習的電網最優碳能復合流獲取方法。該方法能夠在滿足系統運行和安全約束的前提下，通過對電網的無功進行優化，使得電網中的能量流和碳排放流損耗量達到最小，并且能在保證較好全局尋優能力的同時，明顯提高算法的收斂速度。

本發明的目的通過下述技術方案實現：一種基于群智能強化學習的電網最優碳能復合流獲取方法，步驟如下：

S1、根據電網負荷節點系統構建群智能強化學習系統，然后建立群智能強化學習系統的多目標最優碳能復合流模型目標函數；

S2、在群智能強化學習系統群體的主體更新迭代過程中，根據步驟S1中建立的多目標最優碳能復合流模型目標函數，設置獎勵函數；

S3、按照負荷消耗的能量的差別，把負荷離散化劃分成不同的斷面，根據斷面負荷消耗的能量值確定每個主體i的狀態s_i，然后根據多步回溯Q(λ)學習的資格跡來更新每個主體i的Q_i值矩陣；

S4、計算每個主體i的貪婪動作a_i^g；

S5、根據步驟S3每個主體i更新后的Q_i值矩陣，再更新每個主體i的動作概率矩陣P_i；