[發明專利]基于深度確定性策略算法的發電機組啟停配置方法及系統

有效

• 申請號: 201810054828.3
• 申請日: 2018-01-19
• 公開（公告）號: CN108321795B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 程引;林淑怡;張衛東;趙亞東;何星;蔡云澤
• 申請（專利權）人: 上海交通大學
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J3/06;G06Q10/06;G06Q50/06
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 應小波

本發明涉及一種基于深度確定性策略算法的發電機組啟停配置方法及系統，該方法將機組組合啟停分配問題構造成為強化學習序列決策問題，所述的方法包括以下步驟：1)將前一歷史時刻各機組出力值向量作為智能體觀測狀態，用以作為深度策略網絡的輸入向量；2)針對連續時間序列機組啟停優化問題，使用深度確定性策略梯度算法給出優化決策序列，輸出機組在該時刻的啟停向量，實現對機組啟停狀態的分配。與現有技術相比，本發明采用深度確定性策略學習方法，直接得到不同時刻的啟停向量，能夠適應不同規模機組集群啟停表的自動分配，使得系統具有較好的擴展性。

技術領域

本發明涉及火力發電技術領域，尤其是涉及一種基于深度確定性策略算法的發電機組啟停配置方法及系統。

背景技術

在火力發電生產過程中，制定日前發電計劃，預先對發電機組的啟停優化配置，有著重要意義。原因在于兩個方面：首先，電力系統負荷存在著明顯的周期性與峰谷效應，為了滿足負荷的需求，系統內機組必須聯合運行；其次，在不改變啟停機組的數目的條件下，僅僅依靠調整開機機組的出力，很難實現電力供需平衡與發電資源的合理配置。

發電機組啟停優化配置是在滿足約束條件下，如何合理安排機組的開/停機順序，從而使得系統發電成本最小。它可以用同時包含離散變量(如機組的啟停狀態)及連續變量(如負荷的經濟分配)的混合型高維、動態非線性優化問題來進行描述。當系統的規模逐漸增加時，從理論上獲得準確的最優解將變得十分困難。

目前常規方法是把機組啟停分配問題用數學方程描述出來，并用解析法求解，最終得到最優值。拉格朗日松弛法是一種典型的求解復雜組合優化問題的數學優化算法，將其運用于機組啟停分配問題中始于70年代，到目前已經取得了大量的理論和應用成果。然而該算法也有明顯的缺陷，主要是受制于目標函數的非凸性，求解過程存在對偶間隙，常常不能找到原問題的最優解，需要采取一定的措施進行構造。因此，有必要建立一種有效的決策方法，實現日前發電機組啟停優化配置，以期適應不同規模機組集群，從而提高優化系統的擴展性。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于深度確定性策略算法的發電機組啟停配置方法及系統，采用深度確定性策略學習方法，直接得到不同時刻的啟停向量，能夠適應不同規模機組集群啟停表的自動分配，使得系統具有較好的擴展性。

本發明的目的可以通過以下技術方案來實現：

一種基于深度確定性策略算法的發電機組啟停配置方法，其特征在于，該方法將機組組合啟停分配問題構造成為強化學習序列決策問題，所述的方法包括以下步驟：

1)將前一歷史時刻各機組出力值向量作為智能體觀測狀態，用以作為深度策略網絡的輸入向量；

2)針對連續時間序列機組啟停優化問題，使用深度確定性策略梯度算法給出優化決策序列，輸出機組在該時刻的啟停向量，實現對機組啟停狀態的分配。

優選地，所述的深度確定性策略梯度算法包括深度策略網絡的訓練過程和執行過程。

優選地，所述的訓練過程包括以下步驟：

首先，通過數據采集單元獲得機組歷史出力記錄數據；

其次，將各個時刻的機組歷史出力合并成智能體狀態向量，輸入至深度策略網絡，得到候選啟停向量；

然后，在候選啟停向量的基礎上利用最優潮流解出各機組出力，以對應運行成本作為強化學習獎勵函數值；

最后，經過迭代訓練使得深度策略網絡收斂；

優選地，所述的執行過程包括以下步驟：

首先，重新按時間順序輸入歷史機組出力；

其次，通過深度策略網絡得到優化啟停向量；