[發(fā)明專利]一種基于模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110020657.4
• 申請(qǐng)日: 2021-01-07
• 公開（公告）號(hào): CN112700057B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 黃昉菀;郭昆;於志勇;莊世杰
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G06Q50/06;G06N3/04;G06N3/08
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

本發(fā)明涉及一種基于模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法。包括以下步驟：1、構(gòu)建一個(gè)包含輸入層、隱藏層和輸出層的循環(huán)神經(jīng)網(wǎng)絡(luò)，并把隱藏層劃分為若干個(gè)模塊；2、通過(guò)四種隱藏層模塊更新策略和兩種循環(huán)連接剪枝策略的不同組合，可以構(gòu)建不同的模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)；3、對(duì)獲取的電力負(fù)荷數(shù)據(jù)進(jìn)行Z?score標(biāo)準(zhǔn)化處理，并將其按照時(shí)間順序劃分為訓(xùn)練集，驗(yàn)證集和測(cè)試集。利用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，用驗(yàn)證集進(jìn)行調(diào)參，最后在測(cè)試集上評(píng)估性能。本發(fā)明相對(duì)于目前廣泛應(yīng)用的門控循環(huán)神經(jīng)網(wǎng)絡(luò)而言，該框架下的模型能夠在有效降低網(wǎng)絡(luò)訓(xùn)練參數(shù)量的同時(shí)，實(shí)現(xiàn)對(duì)電力負(fù)荷的精準(zhǔn)預(yù)測(cè)。特別是基于自適應(yīng)更新策略的模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)最為突出。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法。

背景技術(shù)

電力負(fù)荷預(yù)測(cè)對(duì)于確保智能電網(wǎng)的安全、穩(wěn)定和高效運(yùn)行具有重要作用。從電力生產(chǎn)的角度來(lái)看，精準(zhǔn)預(yù)測(cè)有助于制定合理的生產(chǎn)計(jì)劃，在提供充足電力供應(yīng)的同時(shí)避免過(guò)度生產(chǎn)造成的資源浪費(fèi)。從電力消費(fèi)的角度來(lái)看，精準(zhǔn)預(yù)測(cè)有助于實(shí)時(shí)電價(jià)的合理制定，以鼓勵(lì)非高峰電力消費(fèi)。近年來(lái)，智能電網(wǎng)中各種高精度數(shù)據(jù)采集設(shè)備(如智能電表)的不斷出現(xiàn)，為電力負(fù)荷預(yù)測(cè)提供了強(qiáng)有力的支持。目前用于電力負(fù)荷預(yù)測(cè)的方法通常可以分為兩類：基于統(tǒng)計(jì)分析的方法和基于數(shù)據(jù)驅(qū)動(dòng)的方法。雖然基于統(tǒng)計(jì)分析的方法已經(jīng)發(fā)展得非常成熟，但由于電力負(fù)荷序列的非線性、用戶行為的隨機(jī)性、外部因素的多樣性等原因，其精準(zhǔn)度仍有待進(jìn)一步的提高。這使得基于人工智能的數(shù)據(jù)驅(qū)動(dòng)方法逐漸成為該領(lǐng)域的研究熱點(diǎn)。主要模型包括動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)、深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。然而，上述模型沒(méi)有將數(shù)據(jù)的時(shí)序關(guān)系作為電力負(fù)荷的明確特征，當(dāng)需要考慮當(dāng)前負(fù)荷與歷史負(fù)荷之間的復(fù)雜時(shí)間依賴關(guān)系時(shí)，可能會(huì)導(dǎo)致模型預(yù)測(cè)性能下降。因此，近年來(lái)，能夠通過(guò)隱藏層狀態(tài)連續(xù)傳輸早期輸入信息的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)被廣泛應(yīng)用于缺乏外部影響因素情況下的電力負(fù)荷預(yù)測(cè)問(wèn)題。

由于傳統(tǒng)RNN采用隨時(shí)間反向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)訓(xùn)練，隨著記憶深度的增加，模型容易出現(xiàn)梯度消失或爆炸的問(wèn)題。為了改變傳統(tǒng)RNN在長(zhǎng)序列學(xué)習(xí)中表現(xiàn)不佳的現(xiàn)狀，可采用訓(xùn)練算法替代、循環(huán)權(quán)重約束、門控機(jī)制和多時(shí)間尺度連接等改進(jìn)措施。在訓(xùn)練算法替代方面，研究人員提出了Hessian-Free方法和儲(chǔ)備池計(jì)算等，但上述方法存在著實(shí)施困難或?qū)W習(xí)能力有限等不足。在循環(huán)權(quán)重約束方面，研究人員提出在初始化或整個(gè)學(xué)習(xí)過(guò)程中約束循環(huán)連接權(quán)重，以保證矩陣多步連乘后的范數(shù)仍約等于1。然而，嚴(yán)格執(zhí)行權(quán)重約束可能會(huì)影響模型的訓(xùn)練速度和泛化能力。以長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)及其變體為代表的門控機(jī)制是最常見(jiàn)的一種措施，已成功應(yīng)用于包括電力負(fù)荷預(yù)測(cè)在內(nèi)的眾多時(shí)間序列數(shù)據(jù)挖掘任務(wù)中。但該機(jī)制造成了隱藏層復(fù)雜的內(nèi)部結(jié)構(gòu)，其缺點(diǎn)在于需要訓(xùn)練的網(wǎng)絡(luò)參數(shù)急劇增大。最后一種提高RNN長(zhǎng)期依賴能力的常用方法是引入多時(shí)間尺度連接。其主要思想是隱藏層的循環(huán)連接不僅要存在于相鄰的時(shí)間步長(zhǎng)中，還要存在于更大的時(shí)間步長(zhǎng)中。這樣做的好處是長(zhǎng)期依賴關(guān)系不需要一步一步的反向傳播，而是可以用更少的時(shí)間步完成。例如：Temporal-Kernel RNN規(guī)定每個(gè)神經(jīng)元的循環(huán)連接隨著跳躍長(zhǎng)度的增加呈指數(shù)衰減；Skip RNN允許網(wǎng)絡(luò)根據(jù)計(jì)算出的更新可能性決定當(dāng)前時(shí)刻是否更新神經(jīng)元。除了以神經(jīng)元為單位之外，還可以將隱藏層劃分為若干個(gè)模塊來(lái)形成多時(shí)間尺度的連接，如Clock-Work RNN。最近，Dilated RNN提出可以堆疊多個(gè)隱藏層，并讓這些隱藏層在不同的跳躍長(zhǎng)度上工作以關(guān)注不同的時(shí)間依賴。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法，該方法能夠在有效降低網(wǎng)絡(luò)訓(xùn)練參數(shù)量的同時(shí)，實(shí)現(xiàn)對(duì)電力負(fù)荷的精準(zhǔn)預(yù)測(cè)。特別是基于自適應(yīng)更新策略的模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)最為突出。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于模塊化循環(huán)神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法，包括以下步驟：

步驟S1、構(gòu)建一個(gè)包含輸入層、隱藏層和輸出層的循環(huán)神經(jīng)網(wǎng)絡(luò)，并把隱藏層劃分為若干個(gè)模塊；