[發明專利]基于深度Q學習的多微網被動并離網切換控制方法

有效

• 申請號: 202010760683.6
• 申請日: 2020-07-31
• 公開（公告）號: CN111817349B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 王燦;應宇辰;董慶國;田恬;余宏亮
• 申請（專利權）人: 三峽大學
• 主分類號: H02J3/38
• 分類號: H02J3/38;H02J3/46;H02J3/32;H02J3/24;H02H7/26
• 代理公司: 宜昌市三峽專利事務所 42103
• 代理人: 吳思高

1.基于深度Q學習的多微網被動并離網切換控制方法，其特征在于包括以下步驟：

步驟一：當配電網發生故障時，判斷多微網電源出力與聯絡線上產生功率缺額的大小關系，若多微網電源出力能夠彌補聯絡線上產生的功率缺額，則被動并離網切換過程結束；若多微網電源出力難以彌補聯絡線上產生的功率缺額，則進入步驟二；

步驟二：將多微網內光伏、儲能、負荷實時功率和聯絡線上產生的功率缺額，作為多微網運行環境信息，通過卷積神經網絡提取多微網運行環境信息，構建狀態空間和動作空間；

所述步驟二中，狀態空間表示為：

其中：S為狀態空間；為光伏實時發電功率；為儲能設備實時功率；為三相負荷實時功率；P_t^PS為聯絡線實時功率缺額；

動作空間表示為：

其中：A為動作空間；為三相負荷實時動作；

步驟三：基于優先經驗回放機制，構建切換控制模型；

所述步驟三中，切換控制模型的采樣經驗i，其概率計算公式為：

其中：p_i為第i個經驗轉移元組的優先級；p_k為第k個經驗轉移元組的優先級；α表示控制優先性使用的程度；

所述切換控制模型中，基于等級的優先級表示為：

p_i＝1/rank(i)

其中：rank(i)為回放內存排序時轉換i的秩；

步驟四：構建獎勵值函數；

步驟四中，獎勵值函數表示為：

其中：R(s_t,s_t+1,a)為獎勵值函數；P^PS為聯絡線上產生的功率缺額；P_a為動作a下切除的負荷功率；V^*(a)為動作a下的最終評價值；

步驟五：利用優先級采樣方式代替均勻采樣，通過更新卷積神經網絡參數，輸出負荷動作信息，得到最優減載策略。

2.根據權利要求1所述基于深度Q學習的多微網被動并離網切換控制方法，其特征在于：所述步驟一中，聯絡線上產生的功率缺額表示為：

P^PS＝∑P_BES+∑P_PV-∑P_LD

其中：P^PS為聯絡線上產生的功率缺額；∑p_BES為多微網系統內所有儲能功率之和；∑p_PV為多微網系統內所有光伏功率之和；∑p_LD為多微網系統內所有負荷功率之和。

3.根據權利要求1所述基于深度Q學習的多微網被動并離網切換控制方法，其特征在于：所述步驟五中，通過更新卷積神經網絡參數，具體如下：

其中：Q(s_t,a_t)為Q學習算法中值函數；s_t和s_t+1分別為多微網當前功率缺額狀態和下一時刻功率缺額狀態；α_t為當前時刻減載動作；α為智能體的學習率；γ為折扣因子；R(s_t,s_t+1,a)為獎勵值函數。