[發(fā)明專利]基于專家系統(tǒng)與深度逆向強(qiáng)化學(xué)習(xí)的電網(wǎng)緊急控制方法

有效

• 申請?zhí)枺?/td>: 202010050934.1
• 申請日: 2020-01-17
• 公開（公告）號: CN111179121B
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計）人: 李嘉文;余濤
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06Q50/06
• 分類號: G06Q50/06;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開了一種基于專家系統(tǒng)與深度逆向強(qiáng)化學(xué)習(xí)的電網(wǎng)緊急控制方法，包括步驟：1)構(gòu)建專家知識庫；2)采用深度卷積神經(jīng)網(wǎng)絡(luò)來作為回報函數(shù)的基底，構(gòu)建電力緊急調(diào)度的回報函數(shù)，初始化深度逆向強(qiáng)化學(xué)習(xí)算法參數(shù)后，以專家知識庫中專家演示的正確的控制方式的狀態(tài)序列軌跡為樣本，通過深度逆向強(qiáng)化學(xué)習(xí)與優(yōu)化方案計算出回報函數(shù)中的權(quán)值，得出一個經(jīng)過優(yōu)化的回報函數(shù)，從而得出一個可模仿專家知識庫中專家操作的基于深度逆向強(qiáng)化學(xué)習(xí)的緊急控制策略；3)將在線樣本中的狀態(tài)量輸入訓(xùn)練好的深度逆向強(qiáng)化學(xué)習(xí)算法，根據(jù)當(dāng)前的狀態(tài)及訓(xùn)練好的結(jié)果，深度逆向強(qiáng)化學(xué)習(xí)算法按照回報函數(shù)給出適用于當(dāng)前的最優(yōu)的緊急控制策略。本發(fā)明更具備靈活性和準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及電力系統(tǒng)電網(wǎng)控制的技術(shù)領(lǐng)域，尤其是指一種基于專家系統(tǒng)與深度逆向強(qiáng)化學(xué)習(xí)的電網(wǎng)緊急控制方法。

背景技術(shù)

隨著我國電網(wǎng)的快速發(fā)展，新能源滲透率不斷提高，電網(wǎng)結(jié)構(gòu)日趨復(fù)雜。傳統(tǒng)的電網(wǎng)暫態(tài)穩(wěn)定分析控制技術(shù)與電網(wǎng)高速發(fā)展帶來的新的穩(wěn)定性問題之間的矛盾日益凸顯，由于電網(wǎng)模型和參數(shù)的影響，電網(wǎng)仿真數(shù)據(jù)庫難以復(fù)現(xiàn)電網(wǎng)事故失穩(wěn)軌跡，尤其組合爆炸問題限制工況數(shù)量。因此，物理模型難以對電網(wǎng)不確定性因素建模分析，同時基于物理特性的建模方式受限于計算資源，對于復(fù)雜電網(wǎng)建模計算困難，不能夠全面考慮多種因素。傳統(tǒng)基于電網(wǎng)物理機(jī)理的分析方法已經(jīng)不能滿足電網(wǎng)控制要求，需尋找新方法解決這一問題。

電網(wǎng)緊急狀態(tài)下控制手段包括切機(jī)切負(fù)荷、低頻減載和低壓減載。電網(wǎng)處于緊急狀態(tài)時，電網(wǎng)整體仍保持完整性，部分電網(wǎng)模型約束條件被破壞。電網(wǎng)部分元件參數(shù)超過額定值，部分母線電壓或者負(fù)荷超過額定值，電網(wǎng)可能失去穩(wěn)定性。

數(shù)據(jù)驅(qū)動方法分析電網(wǎng)運(yùn)行環(huán)境信息，并根據(jù)不同運(yùn)行方式和電網(wǎng)運(yùn)行狀態(tài)迅速給出控制方案成為本文研究重點。數(shù)據(jù)驅(qū)動方法已經(jīng)在電網(wǎng)嘗試應(yīng)用。隨機(jī)矩陣?yán)碚撛陔娋W(wǎng)應(yīng)用已經(jīng)驗證了可行性，并且建立了宏觀框架。隨機(jī)矩陣?yán)碚撘言陔娋W(wǎng)設(shè)備狀態(tài)識別、配電網(wǎng)各元素相關(guān)性分析、電網(wǎng)暫態(tài)穩(wěn)定性分析、電網(wǎng)靜態(tài)分析等領(lǐng)域取得了初步的成果。隨機(jī)矩陣?yán)碚撚袛?shù)學(xué)理論作為支撐，能夠較好地處理電網(wǎng)時序數(shù)據(jù)。但隨機(jī)矩陣分析不涉及“學(xué)習(xí)”過程，對于智能化處理問題具有一定的局限性。因此，針對電網(wǎng)運(yùn)行的復(fù)雜問題，將隨機(jī)矩陣?yán)碚撆c機(jī)器學(xué)習(xí)方法相結(jié)合成為解決電網(wǎng)決策控制的可行方案。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提出了一種更具備靈活性和準(zhǔn)確性的基于專家系統(tǒng)與深度逆向強(qiáng)化學(xué)習(xí)的電網(wǎng)緊急控制方法。

為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于專家系統(tǒng)與深度逆向強(qiáng)化學(xué)習(xí)的電網(wǎng)緊急控制方法，包括以下步驟：

1)構(gòu)建專家知識庫，表達(dá)方式設(shè)置為采用電力系統(tǒng)中某緊急狀態(tài)序列向量，及其對應(yīng)的專家操作動作序列，規(guī)則是以變量的約束形式輸入進(jìn)專家知識庫，知識庫的更新方式為仿真后人工更新輸入與在線學(xué)習(xí)共同組成；

2)采用深度卷積神經(jīng)網(wǎng)絡(luò)來作為回報函數(shù)的基底，構(gòu)建電力緊急調(diào)度的回報函數(shù)，初始化深度逆向強(qiáng)化學(xué)習(xí)算法參數(shù)后，以專家知識庫中專家演示的正確的控制方式的狀態(tài)序列軌跡為樣本，通過深度逆向強(qiáng)化學(xué)習(xí)與優(yōu)化方案計算出回報函數(shù)中的權(quán)重系數(shù)，得出一個經(jīng)過優(yōu)化的回報函數(shù)，從而得出一個能夠模仿專家知識庫中專家操作的基于深度逆向強(qiáng)化學(xué)習(xí)的緊急控制策略；

3)將在線樣本中的狀態(tài)量輸入訓(xùn)練好的深度逆向強(qiáng)化學(xué)習(xí)算法，根據(jù)當(dāng)前的狀態(tài)及訓(xùn)練好的結(jié)果，深度逆向強(qiáng)化學(xué)習(xí)算法按照回報函數(shù)給出適用于當(dāng)前的最優(yōu)的緊急控制策略，而且在線過程中不斷通過不同情況下的緊急控制策略得出的狀態(tài)序列與控制效果來更新專家知識庫的內(nèi)容實現(xiàn)在線學(xué)習(xí)的過程。

在步驟1)中，專家知識庫中的專家決策知識的表達(dá)形式為狀態(tài)變量+決策動作，即：

Y_i＝x_i1,x_i2,…,x_in