[發(fā)明專(zhuān)利]一種融合長(zhǎng)短期記憶網(wǎng)絡(luò)與注意力機(jī)制的時(shí)間序列預(yù)測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310027489.0
• 申請(qǐng)日: 2023-01-09
• 公開(kāi)（公告）號(hào): CN116432697A
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 李衛(wèi)榜;溫顯昀;李玲;崔夢(mèng)天
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西南民族大學(xué)
• 主分類(lèi)號(hào): G06N3/0442
• 分類(lèi)號(hào): G06N3/0442;G06N3/0455;G06N3/08
• 代理公司: 成都華風(fēng)專(zhuān)利事務(wù)所(普通合伙) 51223
• 代理人: 杜朗宇

1.一種融合長(zhǎng)短期記憶網(wǎng)絡(luò)與注意力機(jī)制的時(shí)間序列預(yù)測(cè)方法，其特征在于步驟如下：

步驟1：獲取時(shí)間序列預(yù)測(cè)問(wèn)題的樣本數(shù)據(jù)集，包括輸入時(shí)間序列X＝{X₁,X₂,…,X_t}和預(yù)測(cè)輸出的時(shí)間序列Y＝{Y₁,Y₂,…,Y_t}，其中t為截止時(shí)刻；

步驟2：對(duì)原始的時(shí)間序列數(shù)據(jù)進(jìn)行最大最小歸一化處理，并將數(shù)據(jù)轉(zhuǎn)化成[樣本，時(shí)間步長(zhǎng)，特征]樣式的三維數(shù)據(jù)，對(duì)其中的異常值和缺失值進(jìn)行處理；

步驟3：隨機(jī)初始化一組超參數(shù)，包括迭代參數(shù)、batch_size、LSTM中的隱藏層數(shù)量和模型的學(xué)習(xí)率；

步驟4：根據(jù)設(shè)定的超參數(shù)，建立LSTM-attention-LSTM模型的候選模型；LSTM-attention-LSTM模型依次包括編碼層、注意力層和解碼層；

步驟5：時(shí)間序列數(shù)據(jù)編碼，對(duì)輸入一定時(shí)間步長(zhǎng)的時(shí)間序列數(shù)據(jù)使用長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM進(jìn)行編碼處理，并對(duì)輸出向量進(jìn)行丟棄處理和批量歸一化處理，得到當(dāng)前時(shí)刻的隱藏狀態(tài)；

步驟6：注意力權(quán)重計(jì)算，對(duì)編碼層輸出的當(dāng)前時(shí)刻的隱藏狀態(tài)數(shù)據(jù)和解碼層計(jì)算得到的隱藏狀態(tài)進(jìn)行對(duì)比，計(jì)算當(dāng)前時(shí)刻的注意力權(quán)重，最后得到注意力層的輸出向量；

步驟7：時(shí)間序列數(shù)據(jù)預(yù)測(cè)，對(duì)注意力層輸出向量通過(guò)解碼器計(jì)算得到初始輸入時(shí)間序列所對(duì)應(yīng)的預(yù)測(cè)輸出值，再通過(guò)全連接層的relu激活函數(shù)計(jì)算得到最終的預(yù)測(cè)時(shí)間序列。

2.根據(jù)權(quán)利要求1所述的輸入數(shù)據(jù)編碼方法，其特征在于，模型首先對(duì)輸入的時(shí)間序列三維向量X進(jìn)行編碼處理，編碼器由LSTM構(gòu)成，通過(guò)遺忘門(mén)、輸入門(mén)、輸出門(mén)計(jì)算，對(duì)計(jì)算結(jié)果即輸出的向量進(jìn)行丟棄處理和批量歸一化處理，得到處理后的當(dāng)前時(shí)刻i的隱藏狀態(tài)向量h_i。

3.根據(jù)權(quán)利要求1所述的注意力權(quán)重計(jì)算方法，其特征在于，首先計(jì)算待預(yù)測(cè)時(shí)刻i時(shí)間序列向量X的注意力分配概率分布值，用解碼層計(jì)算得到的i時(shí)刻的隱藏層節(jié)點(diǎn)狀態(tài)H_i去和輸入序列X中的編碼器得到的j時(shí)刻的隱藏層狀態(tài)h_j進(jìn)行對(duì)比，通過(guò)注意力權(quán)重計(jì)算函數(shù)F計(jì)算每個(gè)時(shí)刻序列的注意力權(quán)重α_ij，使用α_ij對(duì)向量H_i的每個(gè)元素加權(quán)求和，得到注意力層的輸出向量C’_i。

4.根據(jù)權(quán)利要求1所述的時(shí)間序列數(shù)據(jù)預(yù)測(cè)方法，其特征在于，以上一時(shí)刻的預(yù)測(cè)輸出值y_i-1和解碼器i時(shí)刻的隱藏狀態(tài)h_i和注意力層的輸出向量C’_i作為輸入，經(jīng)過(guò)遺忘門(mén)、輸入門(mén)、輸出門(mén)計(jì)算，并對(duì)細(xì)胞狀態(tài)更新，將更新后的細(xì)胞狀態(tài)作為激活函數(shù)tanh的輸入，通過(guò)計(jì)算激活函數(shù)tanh的結(jié)果與輸出門(mén)的結(jié)果的乘積得到i時(shí)刻預(yù)測(cè)輸出值y_i，以y_i為輸入通過(guò)全連接層的relu激活函數(shù)計(jì)算得到最終預(yù)測(cè)序列Y。