[發(fā)明專利]機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210274572.3
• 申請日: 2022-03-21
• 公開（公告）號: CN114362258B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 劉帥;王小文;趙浩然;孫波;邢蘭濤;劉龍成;王瑞琪
• 申請（專利權(quán)）人: 山東大學(xué)
• 主分類號: H02J3/46
• 分類號: H02J3/46;G06Q10/06;G06Q10/04;G06Q50/06
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 張慶騫

本發(fā)明屬于智能電網(wǎng)機(jī)組的優(yōu)化組合及調(diào)度技術(shù)領(lǐng)域，為解決機(jī)組資源浪費(fèi)的問題，提供了機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化方法及系統(tǒng)。該方法包括得到機(jī)組組合及調(diào)度優(yōu)化模型，在預(yù)設(shè)約束條件下構(gòu)建固定動(dòng)作集合，選出各機(jī)組的最優(yōu)功率即虛擬發(fā)電功率；將約束條件轉(zhuǎn)化為投影約束，將虛擬發(fā)電功率投影到相應(yīng)約束范圍內(nèi)，得到符合約束范圍內(nèi)的各機(jī)組實(shí)際發(fā)電功率；基于無帶寬約束下各機(jī)組實(shí)行實(shí)際發(fā)電功率時(shí)的成本，計(jì)算相應(yīng)獎(jiǎng)勵(lì)，根據(jù)Q?學(xué)習(xí)算法更新Q表中每個(gè)機(jī)組的局部Q值，得到各機(jī)組在無帶寬約束下的最優(yōu)動(dòng)作；在考慮帶寬的約束條件下，得到滿足有限帶寬約束下的機(jī)組組合和調(diào)度問題的最優(yōu)解，提高了機(jī)組資源利用率。

技術(shù)領(lǐng)域

本發(fā)明屬于智能電網(wǎng)機(jī)組的優(yōu)化組合及調(diào)度技術(shù)領(lǐng)域，尤其涉及一種機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化方法及系統(tǒng)。

背景技術(shù)

本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

智能電網(wǎng)允許大規(guī)模直流輸電和分布式發(fā)電進(jìn)入系統(tǒng)，增強(qiáng)了供電可靠性且滿足了用戶電力增長需求。它以結(jié)構(gòu)堅(jiān)強(qiáng)化為物質(zhì)基礎(chǔ)，應(yīng)用智能化為技術(shù)支撐，協(xié)調(diào)互動(dòng)化為核心特征。智能電網(wǎng)發(fā)展的優(yōu)勢與挑戰(zhàn)并存，系統(tǒng)運(yùn)行的經(jīng)濟(jì)性是關(guān)鍵考慮因素，因此針對機(jī)組組合及調(diào)度開展研究具有重要意義。傳統(tǒng)算法難以解決源-荷-儲的不確定性和電網(wǎng)的復(fù)雜動(dòng)態(tài)特性，而機(jī)組組合及調(diào)度作為隨機(jī)序貫決策問題，其目標(biāo)與強(qiáng)化學(xué)習(xí)目標(biāo)一致。強(qiáng)化學(xué)習(xí)具有無需精確數(shù)學(xué)模型、可以獲取長期回報(bào)等優(yōu)勢，使用強(qiáng)化學(xué)習(xí)算法解決機(jī)組組合及調(diào)度問題開始受到學(xué)者的廣泛關(guān)注。考慮到智能電網(wǎng)具有分布式發(fā)電的特性，集中式的算法已不再適用。分布式強(qiáng)化學(xué)習(xí)算法分而自治、協(xié)同合作的設(shè)計(jì)原則可以有力支撐新一代電網(wǎng)機(jī)組安全穩(wěn)定運(yùn)行。

然而，現(xiàn)實(shí)世界中的通信網(wǎng)絡(luò)帶寬有限。當(dāng)電網(wǎng)系統(tǒng)中機(jī)組數(shù)量較多且過度發(fā)送消息時(shí)，容易造成網(wǎng)絡(luò)阻塞，延遲消息的傳輸，影響調(diào)度效果。傳統(tǒng)的解決方法是采用時(shí)間觸發(fā)，即事先設(shè)定觸發(fā)時(shí)間以周期性的傳輸信息，不根據(jù)系統(tǒng)的狀態(tài)或時(shí)間動(dòng)態(tài)變化。然而，此方法仍然會造成不必要的資源浪費(fèi)。

發(fā)明內(nèi)容

為了解決上述背景技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化方法及系統(tǒng)，其能夠提高機(jī)組資源的利用率。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明的第一個(gè)方面提供一種機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化方法，其包括：

基于智能電網(wǎng)的發(fā)電機(jī)組的參數(shù)，得到機(jī)組組合及調(diào)度優(yōu)化模型，并在預(yù)設(shè)約束條件下，構(gòu)建固定動(dòng)作集合，選出各機(jī)組的最優(yōu)功率即虛擬發(fā)電功率；

將約束條件轉(zhuǎn)化為投影約束，將虛擬發(fā)電功率投影到相應(yīng)約束范圍內(nèi)，得到符合約束范圍內(nèi)的各機(jī)組實(shí)際發(fā)電功率；

基于無帶寬約束下各機(jī)組實(shí)行實(shí)際發(fā)電功率時(shí)的成本，計(jì)算相應(yīng)獎(jiǎng)勵(lì)，再根據(jù)Q-學(xué)習(xí)算法更新Q表中每個(gè)機(jī)組的局部Q值，進(jìn)而得到各機(jī)組在無帶寬約束下的功率全局最優(yōu)解即最優(yōu)動(dòng)作；

固定各機(jī)組的最優(yōu)動(dòng)作，在考慮帶寬的約束條件下，將通信帶寬限制值描述為時(shí)間段內(nèi)的懲罰閾值，得到滿足有限帶寬約束下的機(jī)組組合和調(diào)度問題的最優(yōu)解。

本發(fā)明的第二個(gè)方面提供一種機(jī)組組合及調(diào)度分布式事件觸發(fā)強(qiáng)化學(xué)習(xí)優(yōu)化系統(tǒng)，其包括：

虛擬發(fā)電功率篩選模塊，其用于基于智能電網(wǎng)的發(fā)電機(jī)組的參數(shù)，得到機(jī)組組合及調(diào)度優(yōu)化模型，并在預(yù)設(shè)約束條件下，構(gòu)建固定動(dòng)作集合，選出各機(jī)組的最優(yōu)功率即虛擬發(fā)電功率；

約束投影模塊，其用于將約束條件轉(zhuǎn)化為投影約束，將虛擬發(fā)電功率投影到相應(yīng)約束范圍內(nèi)，得到符合約束范圍內(nèi)的各機(jī)組實(shí)際發(fā)電功率；

全局最優(yōu)解求解模塊，其用于基于無帶寬約束下各機(jī)組實(shí)行實(shí)際發(fā)電功率時(shí)的成本，計(jì)算相應(yīng)獎(jiǎng)勵(lì)，再根據(jù)Q-學(xué)習(xí)算法更新Q表中每個(gè)機(jī)組的局部Q值，進(jìn)而得到各機(jī)組在無帶寬約束下的功率全局最優(yōu)解即最優(yōu)動(dòng)作；