[發明專利]基于深度強化學習的配電網負荷轉供方法

在審

• 申請號: 202010974175.8
• 申請日: 2020-09-16
• 公開（公告）號: CN112149347A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張沛;宋秉睿;李家騰;呂曉茜;孟祥飛
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06Q10/06;G06Q50/06;G06F111/04;G06F113/04
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 黃曉軍

本發明提供了一種基于深度強化學習的配電網負荷轉供方法。該方法包括：配電網發生故障，開始負荷轉供；將配電網的實時狀態信息輸入到智能體，計算出動作評價向量，基于動作評價向量根據動作策略選取相應的動作；智能體對配電網執行所述動作，對配電網的動作及動作后的狀態進行評價,根據約束條件與目標函數計算獎勵Reward，根據獎勵Reward和結束規則確定Done的值，對智能體進行參數更新；依據結束標志位判斷是否結束序列動作。本申請的方法利用深度強化學習來提高配電網的故障應急恢復能力與可靠性，基于深度強化學習的配電網負荷轉供算法避免了故障時的大量運算與電網仿真迭代，提高了負荷轉供的速度，使配電網具有更高的可靠性。

技術領域

本發明涉及配電網故障處理技術領域，尤其涉及一種基于深度強化學習的配電網負荷轉供方法。

背景技術

隨著我國國民經濟的快速發展，尤其是第三產業的用電規模逐漸擴大，中小型用戶與居民用電比例逐漸增加，電力負荷的結構出現了一些變化，配電網節點數大量增加，線路也越來越長，結構愈加復雜，故障的幾率相應增大。因此配電網在發生故障后，可以通過調整網絡開關的開合狀態來切除線路故障，隔離故障并轉移故障影響區內負荷，以減少故障影響范圍，從而總體提高電網運行的經濟性和安全性。

目前，國內外許多學者對負荷轉供提出的方法基本可以分成以下幾類：啟發式算法、數學優化法、專家系統法和人工智能算法。上述算法均可獲得可行的轉供方案輸出，但均存在一定的缺陷。

如基于直觀或經驗構造，模擬思維邏輯的啟發式算法，它根據聯絡開關的剩余容量，失電區域的位置劃分，嘗試用簡單的操作，試圖一次提供解決方案，方案的最優性很難達到，極易陷入局部最優解，得到解的優劣非常依賴于網絡的初始狀態，這種方法雖然不需要太多次的潮流計算，在目前各種算法中實時性相對較好，但依然需要進行多次潮流求解對解決方案進行選擇，其依然不能滿足配電網負荷轉供的實時性要求。

將配電網重構問題用簡化數學模型進行描述的數學優化算法，如最優流模式法，將每一條環路合上再打開電流最小的刀閘，當配電網絡結構龐大、復雜和維數大時，需要不停反復計算直到趨于穩定，會出現“組合爆炸”的問題；其對于電網仿真過程的優化使求解過程出現許多不確定性因素，對最終結果的準確性影響較大。由于數學優化方法比較簡單，不能很好地兼顧復雜的大電網，而且其計算是從局部到整體，極易陷入局部最優解，其計算過程也需要消耗大量時間，造成過長的停電時間，無法滿足配電網負荷轉供的實時性要求。

專家系統法能夠自動生成恢復故障需要操作的方案并保存在庫中，實時性好，適用性廣，可應用于網絡較大時的方案求解。但專家系統的只是庫的建立和集成費時費力，且實際中故障種類多種多樣，無法記錄包括全部情況。

傳統的人工智能算法主要有一些隨機搜索算法與有監督學習算法。隨機搜索算法如禁忌搜索算法、粒子群搜索算法、遺傳算法計算次數多，計算量大，求解時間較長，可能出現最優解或者不收斂的情況，無法很好兼顧求解速度與全局最優解。有監督學習算法如神經網絡法需要建立在以往經驗上進行學習，在樣本充足的情況下容易找到全局中最優解，但是在缺少有標簽數據的情況下難以獲得較好的訓練結果。這類方法屬于在故障發生以后，獲得故障信息基礎上的搜索最優解的方法，中間需要進行大量的迭代計算與潮流求解，初始解如果距離最優解較遠，將消耗大量時間尋找最優解，也無法在短時間內為系統提供較優的解決方案。

發明內容

本發明的實施例提供了一種基于深度強化學習的配電網負荷轉供方法，以克服現有技術的問題。

為了實現上述目的，本發明采取了如下技術方案。

一種基于深度強化學習的配電網負荷轉供方法，包括：