[發(fā)明專利]基于分布式電源的深度強(qiáng)化學(xué)習(xí)配電網(wǎng)故障恢復(fù)方法

在審

• 申請?zhí)枺?/td>: 202210005264.0
• 申請日: 2022-01-05
• 公開（公告）號: CN114243799A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計）人: 陳東海;王波;張志雄;鄔航杰;蔡振華;王靜怡;吳凱;虞殷樹;張威;嚴(yán)勇;羅軼;何小堅;胡勤;王京鋒;張洪磊;黃蕾;朱航;袁士超;柯珂
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司寧波供電公司
• 主分類號: H02J3/46
• 分類號: H02J3/46;H02H7/28;H02J3/38
• 代理公司: 杭州華鼎知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 任翠月

本申請實施例提出了基于分布式電源的深度強(qiáng)化學(xué)習(xí)配電網(wǎng)故障恢復(fù)方法，包括根據(jù)配電網(wǎng)電氣節(jié)點(diǎn)間的連接關(guān)系，建立配電網(wǎng)的電氣拓?fù)鋱D，合并節(jié)點(diǎn)形成故障恢復(fù)節(jié)點(diǎn)，并以聯(lián)絡(luò)開關(guān)為邊，建立故障恢復(fù)拓?fù)鋱D；以每個分布式電源為智能體，建立故障恢復(fù)的多智能體馬爾科夫決策過程模型，通過在配電網(wǎng)故障恢復(fù)中引入分布式電源，有利于進(jìn)一步提高恢復(fù)供電手段的靈活性和恢復(fù)供電的負(fù)荷量。同時，本發(fā)明引入深度強(qiáng)化學(xué)習(xí)，智能體通過在不同的問題實例下，基于可觀測的部分信息搜索分布式電源的供電范圍，得到恢復(fù)供電的配電網(wǎng)孤島劃分方案，并根據(jù)回報函數(shù)調(diào)整搜索策略訓(xùn)練模型，對不同的問題實例具有較好的適應(yīng)性。

技術(shù)領(lǐng)域

本發(fā)明涉及配電網(wǎng)故障恢復(fù)領(lǐng)域，尤其涉及基于分布式電源的深度強(qiáng)化學(xué)習(xí)配電網(wǎng)故障恢復(fù)方法。

背景技術(shù)

配電網(wǎng)發(fā)生故障時，利用傳統(tǒng)火電、水電機(jī)組，通過負(fù)荷轉(zhuǎn)供的方式恢復(fù)供電，受配電網(wǎng)的運(yùn)行方式約束影響較大，且大容量機(jī)組的爬坡速率有限，因此通常需切除的負(fù)荷較多，故障恢復(fù)的靈活性不足。同時，配電網(wǎng)故障恢復(fù)是一類組合優(yōu)化問題，當(dāng)前的方法集中于啟發(fā)式搜索和混合整數(shù)規(guī)劃。傳統(tǒng)的啟發(fā)式搜索在面對不同的問題實例時，解的質(zhì)量差異性較大，不具備自適應(yīng)能力。而混合整數(shù)規(guī)劃的建模需要完整的配電網(wǎng)信息，且計算時間隨著配電網(wǎng)規(guī)模的增大而急劇增加。

發(fā)明內(nèi)容

本發(fā)明的目的在于提高配電網(wǎng)故障恢復(fù)手段的靈活性、恢復(fù)供電的能力和恢復(fù)方案計算速度。分布式光伏、儲能、電動汽車等分布式電源在配電網(wǎng)中的大量接入，為配電網(wǎng)的故障恢復(fù)提供了新的靈活可用資源。因此，本發(fā)明在配電網(wǎng)故障恢復(fù)中引入分布式電源，有利于進(jìn)一步提高恢復(fù)供電手段的靈活性和恢復(fù)供電的負(fù)荷量。同時，本發(fā)明引入深度強(qiáng)化學(xué)習(xí)，智能體通過在不同的問題實例下，基于可觀測的部分信息搜索分布式電源的供電范圍，得到恢復(fù)供電的配電網(wǎng)孤島劃分方案，并根據(jù)回報函數(shù)調(diào)整搜索策略訓(xùn)練模型，對不同的問題實例具有較好的適應(yīng)性。

本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)：基于分布式電源的深度強(qiáng)化學(xué)習(xí)配電網(wǎng)故障恢復(fù)方法，包括步驟：

1)根據(jù)配電網(wǎng)電氣節(jié)點(diǎn)間的連接關(guān)系，建立配電網(wǎng)的電氣拓?fù)鋱D。合并節(jié)點(diǎn)形成故障恢復(fù)節(jié)點(diǎn)，并以聯(lián)絡(luò)開關(guān)為邊，建立故障恢復(fù)拓?fù)鋱D。

2)以每個分布式電源為智能體，建立故障恢復(fù)的多智能體馬爾科夫決策過程模型。

3)在訓(xùn)練階段，首先使用DeepWalk獲取故障恢復(fù)拓?fù)鋱D的節(jié)點(diǎn)表示向量。

4)各智能體分別拼接觀察到的狀態(tài)向量及其所在故障恢復(fù)節(jié)點(diǎn)的表示向量，輸入到由全連接神經(jīng)網(wǎng)絡(luò)構(gòu)建的Q函數(shù)神經(jīng)網(wǎng)絡(luò)，得到各個動作的Q值，并使用∈-greedy方法采樣動作并執(zhí)行。收集由當(dāng)前狀態(tài)、當(dāng)前動作、當(dāng)前回報、下一狀態(tài)組成的四元組并放入經(jīng)驗池。

5)當(dāng)經(jīng)驗池中的四元組數(shù)量足夠多時，從經(jīng)驗池中批量采樣四元組計算Q值損失函數(shù)，并使用Adam優(yōu)化算法更新神經(jīng)網(wǎng)絡(luò)參數(shù)。若存在故障恢復(fù)節(jié)點(diǎn)未被訪問且分布式電源仍有剩余功率，返回第三步，否則結(jié)束一輪回合的訓(xùn)練。6)訓(xùn)練足夠多回合數(shù)后結(jié)束訓(xùn)練，使用訓(xùn)練好的Q函數(shù)神經(jīng)網(wǎng)絡(luò)確定各狀態(tài)下的動作并執(zhí)行，不斷重復(fù)直到所有故障恢復(fù)節(jié)點(diǎn)均被訪問或分布式電源無剩余功率。

進(jìn)一步地，所述步驟1)中合并節(jié)點(diǎn)形成故障恢復(fù)節(jié)點(diǎn)，建立故障恢復(fù)拓?fù)涞木唧w步驟包括：

1.1)斷開所有聯(lián)絡(luò)開關(guān)，選擇未被訪問的電氣節(jié)點(diǎn)，在電氣拓?fù)鋱D中進(jìn)行深度優(yōu)先或廣度優(yōu)先搜索，同時在搜索的過程中標(biāo)記訪問過的電氣節(jié)點(diǎn)。

1.2)每次搜索完成后，合并本次搜索過程中訪問的電氣節(jié)點(diǎn)作為故障恢復(fù)節(jié)點(diǎn)v，記故障恢復(fù)節(jié)點(diǎn)構(gòu)成的集合為若仍有電氣節(jié)點(diǎn)未被訪問，返回1.1)，否則結(jié)束搜索。

1.3)以聯(lián)絡(luò)開關(guān)作為各故障恢復(fù)節(jié)點(diǎn)間的邊e，記邊構(gòu)成的集合為ε。建立故障恢復(fù)拓?fù)鋱D

進(jìn)一步地，步驟2)中故障恢復(fù)的多智能體馬爾科夫決策過程模型為：