[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202111305997.8
• 申請(qǐng)日: 2021-11-05
• 公開（公告）號(hào): CN114048989A
• 公開（公告）日: 2022-02-15
• 發(fā)明（設(shè)計(jì)）人: 高宇馨;黃偉;張?zhí)硪?/a>;程威;黃澤真
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06Q10/06
• 分類號(hào): G06Q10/06;G06Q10/04;G06Q50/06;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 忻明年

1.一種基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，其特征在于，所述基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，包括：

構(gòu)建包括深度強(qiáng)化學(xué)習(xí)Q值估計(jì)網(wǎng)絡(luò)和Target Q網(wǎng)絡(luò)的電力系統(tǒng)恢復(fù)模型，初始化Q值估計(jì)網(wǎng)絡(luò)、Target Q網(wǎng)絡(luò)和經(jīng)驗(yàn)回放池；

獲取用于訓(xùn)練的電力系統(tǒng)數(shù)據(jù)集，隨機(jī)選擇刪除電力系統(tǒng)數(shù)據(jù)集中預(yù)設(shè)數(shù)量的總線，作為初始總線狀態(tài)，然后隨機(jī)選擇一個(gè)總線狀態(tài)作為當(dāng)前狀態(tài)輸入到Q值估計(jì)網(wǎng)絡(luò)，根據(jù)ε貪婪策略選擇動(dòng)作，并執(zhí)行動(dòng)作，生成對(duì)應(yīng)的獎(jiǎng)勵(lì)和下一時(shí)刻的狀態(tài)信息，將當(dāng)前總線狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)和下一時(shí)刻的狀態(tài)作為一個(gè)訓(xùn)練樣本放入經(jīng)驗(yàn)回放池中；

根據(jù)樣本選擇間隔，從經(jīng)驗(yàn)回放池中采樣抽取訓(xùn)練樣本，采用獲取的訓(xùn)練樣本訓(xùn)練Q值估計(jì)網(wǎng)絡(luò)，并采用Q值估計(jì)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)更新Target Q網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，直到達(dá)到預(yù)設(shè)的循環(huán)次數(shù)；

將級(jí)聯(lián)失效后的電力系統(tǒng)總線狀態(tài)輸入到訓(xùn)練好的電力系統(tǒng)恢復(fù)模型中，獲取恢復(fù)動(dòng)作，對(duì)級(jí)聯(lián)失效后的電力系統(tǒng)進(jìn)行恢復(fù)。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，其特征在于，所述采用獲取的訓(xùn)練樣本訓(xùn)練Q值估計(jì)網(wǎng)絡(luò)，采用如下?lián)p失函數(shù)：

其中γ是衰減因子，max_a′Q(s_j+1,a′；θ′)是輸入狀態(tài)s_j+1時(shí)Target Q值網(wǎng)絡(luò)執(zhí)行最優(yōu)動(dòng)作后的累計(jì)獎(jiǎng)勵(lì)，Q(s_j,a_j,θ)是輸入狀態(tài)s_j時(shí)Q值估計(jì)網(wǎng)絡(luò)執(zhí)行動(dòng)作a_j后的累計(jì)獎(jiǎng)勵(lì)，a_j是在j時(shí)刻時(shí)的選擇執(zhí)行的動(dòng)作，r_j是在j時(shí)刻時(shí)執(zhí)行動(dòng)作后生成的即時(shí)獎(jiǎng)勵(lì)。a′表示所有可能執(zhí)行的動(dòng)作之一，最優(yōu)動(dòng)作就是在Q(s_j+1,a′；θ′)最大時(shí)所執(zhí)行的動(dòng)作。

3.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，其特征在于，所述將級(jí)聯(lián)失效后的電力系統(tǒng)總線狀態(tài)輸入到訓(xùn)練好的電力系統(tǒng)恢復(fù)模型中，獲取恢復(fù)動(dòng)作，對(duì)級(jí)聯(lián)失效后的電力系統(tǒng)進(jìn)行恢復(fù)之后，還包括：

進(jìn)行孤島檢測(cè)，將孤島及輸電線路從電力系統(tǒng)中刪除。

4.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，其特征在于，所述將級(jí)聯(lián)失效后的電力系統(tǒng)總線狀態(tài)輸入到訓(xùn)練好的電力系統(tǒng)恢復(fù)模型中，獲取恢復(fù)動(dòng)作，對(duì)級(jí)聯(lián)失效后的電力系統(tǒng)進(jìn)行恢復(fù)之后，還包括：

進(jìn)行電力再調(diào)度，實(shí)現(xiàn)負(fù)載平衡。

5.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)方法，其特征在于，所述將級(jí)聯(lián)失效后的電力系統(tǒng)總線狀態(tài)輸入到訓(xùn)練好的電力系統(tǒng)恢復(fù)模型中，獲取恢復(fù)動(dòng)作，對(duì)級(jí)聯(lián)失效后的電力系統(tǒng)進(jìn)行恢復(fù)之后，還包括：

基于DC潮流模型，重新計(jì)算DC潮流模型中的每條輸電線路的潮流；

監(jiān)控每條輸電線路，對(duì)于潮流超過線路容量的線路定義為過載線路，如果有線路過載，選擇最大過載的線路跳閘。

6.一種基于深度強(qiáng)化學(xué)習(xí)的電力系統(tǒng)順序恢復(fù)裝置，包括處理器以及存儲(chǔ)有若干計(jì)算機(jī)指令的存儲(chǔ)器，其特征在于，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至權(quán)利要求5中任意一項(xiàng)所述方法的步驟。