[發(fā)明專利]基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202111505344.4
• 申請日: 2021-12-10
• 公開（公告）號: CN114186412A
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 羅瑋;張建軍;黃穎;周子祺
• 申請（專利權(quán)）人: 國能大渡河大數(shù)據(jù)服務(wù)有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06K9/62
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

1.一種基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，包括：

數(shù)據(jù)預(yù)處理模塊，用于對給定時(shí)間序列內(nèi)的水輪機(jī)頂蓋水位及相關(guān)數(shù)據(jù)進(jìn)行預(yù)處理；

嵌入表示生成模塊，用于對預(yù)處理數(shù)據(jù)進(jìn)行卷積和編碼處理生成神經(jīng)網(wǎng)絡(luò)嵌入表示；

編碼器，首先基于自注意力機(jī)制，對嵌入表示進(jìn)行處理得到注意力特征矩陣；然后使用池化操作對注意力特征矩陣進(jìn)行處理，生成編碼隱藏表示；

解碼器，進(jìn)一步基于自注意力機(jī)制，對編碼隱藏表示進(jìn)行處理得到解碼隱藏表示；

神經(jīng)ODE模塊，用于對解碼隱藏表示進(jìn)行處理得到預(yù)測隱藏狀態(tài)序列，進(jìn)一步經(jīng)全連接處理得到最終預(yù)測結(jié)果，即水電站水輪機(jī)頂蓋長序列水位。

2.根據(jù)權(quán)利要求1所述的基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，數(shù)據(jù)預(yù)處理模塊包括用于剔除異常數(shù)據(jù)的孤立森林模型、用于插補(bǔ)缺失數(shù)據(jù)的隨機(jī)森林回歸模型和歸一化模塊。

3.根據(jù)權(quán)利要求1所述的基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，所述嵌入表示生成模塊包括卷積處理單元、局部編碼單元和全局編碼單元。

4.根據(jù)權(quán)利要求3所述的基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，卷積處理單元、局部編碼單元和全局編碼單元的具體計(jì)算過程如下：

U^L＝Conv1d(X^L；Θ_conv1) (2)

SE(pos)＝W^mE_pos (4)

式中，Θ_conv1表示卷積處理單元的參數(shù)；pos表示當(dāng)前變量值在時(shí)間序列樣本中的位置；d表示該當(dāng)前變量值對應(yīng)的特征向量中的位置，d＝1，2，…，D；L表示時(shí)間序列長度，D表示特征向量維度，W^m表示可學(xué)習(xí)的權(quán)重參數(shù)，其初始值通過局部編碼單元計(jì)算時(shí)間序列對應(yīng)位置得到，E_pos表示全局時(shí)間戳的數(shù)字編碼；

X_en＝αU^L+PE_{(L×(d-1)+i)，d}+∑_p[SE_(L×(d-1)+i)]_p (5)

式中，α是平衡標(biāo)量投影和局部或全局嵌入之間相對大小的因子，如果時(shí)間序列已經(jīng)標(biāo)準(zhǔn)化，則α＝1；L×(d-1)+i表示對應(yīng)位置pos，PE_{(L×(d-1)+i)，d}表示遍歷整個(gè)時(shí)間序列樣本進(jìn)行位置編碼得到的矩陣，d＝1，2，…，D；SE_(L×(d-1)+i)表示遍歷整個(gè)時(shí)間序列樣本進(jìn)行全局編碼得到的矩陣；p表示全局時(shí)間戳的種類數(shù)量。

5.根據(jù)權(quán)利要求1所述的基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，所述編碼器包括多組堆疊的第一多頭注意力模塊和池化模塊；所述第一多頭注意力模塊由多個(gè)并行設(shè)置的自注意力子模塊組成。

6.根據(jù)權(quán)利要求5所述的基于自注意力機(jī)制的水電站水輪機(jī)頂蓋長序列水位預(yù)測系統(tǒng)，其特征在于，自注意力子模塊的計(jì)算主要由(query，key，value)組成；其中，Q表示查詢query，K表示鍵key，V表示值value；Q、K、V是通過3個(gè)不同的權(quán)值矩陣與嵌入矩陣X_en相乘得到的，如(6)-(8)所示；

Q＝W^QX_en (6)

K＝W^KX_en (7)

V＝W^VX_en (8)

進(jìn)一步通過公式(9)得到注意力特征向量矩陣H₁：

式中，K^T表示K的轉(zhuǎn)置，D′表示Q、K、V的維度。