[發明專利]基于深度強化學習的能源互聯網中虛擬電廠經濟調度方法

有效

• 申請號: 202010010410.X
• 申請日: 2020-01-06
• 公開（公告）號: CN111242443B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 孫迪;王寧;關心;林霖
• 申請（專利權）人: 國網黑龍江省電力有限公司;黑龍江大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631;G06Q50/06
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 時起磊

1.基于深度強化學習的能源互聯網中虛擬電廠經濟調度方法，其特征在于，該方法包括以下步驟：

步驟一、對于任意區域i，利用區域i的工業側服務器和電源側服務器收集來自于區域i的發電側和用戶側信息，i＝1,2,…,I，I為區域總個數；

利用各區域收集的信息分別對actor-critic網絡進行訓練，以分別獲得利用各區域信息訓練好的actor-critic網絡；

所述actor-critic網絡的目標函數為：

其中：C為區域i的總運營成本，為區域i在時隙k的光伏投資初始折舊成本，k＝0,1,…,K，為區域i在時隙k的光伏運營和維護成本，為區域i在時隙k的風力渦輪機初始折舊成本，為區域i在時隙k的風力渦輪機運行和維護成本，為區域i在時隙k的微型燃氣輪機初始折舊成本，為區域i在時隙k的微型燃氣輪機運行和維護成本，為區域i在時隙k的微型燃氣輪機環保成本，為區域i在時隙k的微型燃氣輪機自身消耗的成本，λ為補償系數，為區域i在時隙k的可控制負載，x_i(k)為區域i在時隙k的選擇可中斷負載百分比向量，x_i(k)的取值范圍為[0,1]；

所述actor-critic網絡中的actor網絡的具體訓練過程為：

所述actor網絡由mu網絡和sigma網絡構成，且mu網絡和sigma網絡均由2個全連接層構成；

mu網絡和sigma網絡的第1個全連接層的激活函數均為tanh，輸入維度均為5，輸出維度均為h；

mu網絡和sigma網絡的第2個全連接層的激活函數均為softplus，輸入維度均為h，輸出維度均為m；

將發電側和用戶側的信息輸入mu網絡和sigma網絡后，獲得mu網絡和sigma網絡的輸出；再對mu網絡和sigma網絡的輸出進行正態隨機采樣，獲得actor網絡輸出的4維動作；

所述actor-critic網絡中的critic網絡的具體訓練過程為：

所述critic網絡由全連接層構成；

將發電側和用戶側的信息和actor網絡輸出的4維動作輸入critic網絡的全連接層后，再將全連接層的輸出進行拼接，獲得拼接結果，并對拼接結果進行線性變換，獲得critic網絡輸出的一維回報值；

步驟二、將訓練好的actor-critic網絡分別部署在對應區域的邊緣節點；

步驟三、各區域的工業側服務器和電源側服務器實時收集來自于發電側和用戶側的信息，并將收集的信息輸入對應邊緣節點上的actor-critic網絡，實時獲得各區域的決策信息。

2.根據權利要求1所述的基于深度強化學習的能源互聯網中虛擬電廠經濟調度方法，其特征在于，所述步驟一中，利用各區域收集的信息分別對VPP運營商云服務器的actor-critic網絡進行訓練，采用的是異步的方法，同時并行運行8個線程。

3.根據權利要求2所述的基于深度強化學習的能源互聯網中虛擬電廠經濟調度方法，其特征在于，所述actor-critic網絡的回報函數的表達式為：

其中：K₁、K₂、K₃和K₄均為權重值。