[發明專利]基于強化學習的綜合能源系統多主體運行優化方法及裝置

在審

• 申請號: 202110318894.9
• 申請日: 2021-03-25
• 公開（公告）號: CN113177655A
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 肖遷;穆云飛;賈宏杰;陸文標;李天翔;余曉丹
• 申請（專利權）人: 天津大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N20/00;G06Q50/06
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于強化學習的綜合能源系統多主體運行優化方法，其特征在于，所述方法包括：

構建園區綜合能源系統多主體模型，將多主體模型的優化過程分為上層多主體博弈與下層設備調度優化，并采用“源-荷”雙側博弈互動；

基于Stackelberg博弈定義以排列組合的形式篩選Nash均衡點，并結合Nash-Q算法獲取全時段的最優組合動作，即為當前典型日的最優策略；以各主體生產成本最小為目標函數使用CPLEX求解器求取各主體設備最優運行狀態。

2.根據權利要求1所述的一種基于強化學習的綜合能源系統多主體運行優化方法，其特征在于，所述基于Stackelberg博弈定義以排列組合的形式篩選Nash均衡點具體為：

應用強化學習中的強化信號去描述多主從博弈中納什均衡點的實際物理意義，根據強化信號判斷組合動作是否滿足任一智能體的回報約束條件，若滿足則該組合動作為一個Nash均衡解。

3.根據權利要求1或2所述的一種基于強化學習的綜合能源系統多主體運行優化方法，其特征在于，所述結合Nash-Q算法獲取全時段的最優組合動作，即為當前典型日的最優策略具體為：

1)對動作空間進行離散；

2)各智能體根據回報約束條件，去除不滿足約束的動作組合，將滿足約束的動作保留作為動作集；

3)計算動作集中所有組合動作下各智能體的收益，將收益數據存于表格中；

4)按照從智能體1至智能體n的順序選中某一智能體，分別在其余未選中的所有智能體的所有組合動作下搜索選中智能體的最優動作，并刪除本次選中的智能體的其余動作，只保留最優動作；

5)將現存的動作集中的組合動作保存，保存的組合動作即為全時段的最優策略。

4.根據權利要求3所述的一種基于強化學習的綜合能源系統多主體運行優化方法，其特征在于，所述搜索選中智能體的最優動作具體為：

選取表格中回報值最大的動作，選中過的智能體其動作集中僅有最優動作。

5.一種基于強化學習的綜合能源系統多主體運行優化裝置，其特征在于，所述裝置包括：

構建模塊，用于構建園區綜合能源系統多主體模型；

劃分與互動模塊，用于將多主體模型的優化過程分為上層多主體博弈與下層設備調度優化，并采用“源-荷”雙側博弈互動；

篩選與求解模塊，用于基于Stackelberg博弈定義以排列組合的形式篩選Nash均衡點，并結合Nash-Q算法獲取最優保存的組合動作即為當前狀態下的Nash均衡點；

求取模塊，用于以各主體生產成本最小為目標函數使用CPLEX求解器求取各主體設備最優運行狀態。

6.一種基于強化學習的綜合能源系統多主體運行優化裝置，其特征在于，所述裝置包括：處理器和存儲器，所述存儲器中存儲有程序指令，所述處理器調用存儲器中存儲的程序指令以使裝置執行權利要求1-4中的任一項所述的方法步驟。

7.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序包括程序指令，所述程序指令被處理器執行時使所述處理器執行權利要求1-4中的任一項所述的方法步驟。