[發(fā)明專(zhuān)利]一種注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910849154.0
• 申請(qǐng)日: 2019-09-09
• 公開(kāi)（公告）號(hào): CN110717577A
• 公開(kāi)（公告）日: 2020-01-21
• 發(fā)明（設(shè)計(jì)）人: 劉志偉;王幫海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06F16/906
• 代理公司: 44102 廣州粵高專(zhuān)利商標(biāo)代理有限公司
• 代理人: 林麗明

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，更具體地，涉及一種注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型構(gòu)建方法。本發(fā)明主要通過(guò)注意力機(jī)制關(guān)注先前時(shí)間步區(qū)域信息與當(dāng)前時(shí)間步區(qū)域信息的相似度，并使用長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)中先前所有時(shí)間步的加權(quán)融合向量與當(dāng)前時(shí)間步模型預(yù)測(cè)輸出及當(dāng)前時(shí)間步的LSTM狀態(tài)向量作為模型下一個(gè)時(shí)間步時(shí)間序列預(yù)測(cè)操作的輸入。本發(fā)明通過(guò)長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)LSTM結(jié)合注意區(qū)域信息的注意力機(jī)制進(jìn)行時(shí)間序列值的預(yù)測(cè)，相比現(xiàn)有技術(shù)中的傳統(tǒng)回歸方法和一般LSTM神經(jīng)網(wǎng)絡(luò)方法，本發(fā)明的預(yù)測(cè)結(jié)果具有更高的準(zhǔn)確性，模型也更具魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，更具體地，涉及一種注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型構(gòu)建方法。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代來(lái)臨、機(jī)器學(xué)習(xí)算法進(jìn)一步發(fā)展以及人工智能技術(shù)日漸成熟，對(duì)時(shí)間序列數(shù)據(jù)信息進(jìn)行深入有效地挖掘，是企業(yè)運(yùn)用數(shù)據(jù)信息的一個(gè)發(fā)展方向。如何利用公司所掌握的時(shí)間序列數(shù)據(jù)信息合理有效地為公司自身管理進(jìn)行決策服務(wù)，逐漸成為了各公司關(guān)注的焦點(diǎn)。

從對(duì)現(xiàn)有的研究成果中分析發(fā)現(xiàn)，對(duì)于時(shí)間序列預(yù)測(cè)問(wèn)題，大多數(shù)學(xué)者通常會(huì)選擇傳統(tǒng)的回歸模型(如GM(1,1)，指數(shù)平滑等模型)或LSTM神經(jīng)網(wǎng)絡(luò)模型去解決實(shí)際問(wèn)題。對(duì)于傳統(tǒng)的回歸模型，在處理高維數(shù)據(jù)時(shí)，很多時(shí)候需要通過(guò)增加特征數(shù)量的方法來(lái)實(shí)現(xiàn)提高模型擬合度的目的。與此同時(shí)，也導(dǎo)致了模型易過(guò)擬合的問(wèn)題。并且，由于現(xiàn)實(shí)數(shù)據(jù)中會(huì)存在不少的噪聲，傳統(tǒng)的回歸模型抗噪能力并不強(qiáng)。對(duì)于一般的LSTM神經(jīng)網(wǎng)絡(luò)模型，通常會(huì)把LSTM中的最后一步更新的狀態(tài)(state)作為下一步時(shí)間序列的輸入信息。雖然最后更新的狀態(tài)可以被認(rèn)為存儲(chǔ)了前面步驟所獲取的所有信息，但經(jīng)過(guò)大量的實(shí)驗(yàn)分析顯示，最后一步更新的state存儲(chǔ)的信息是有限的。在使用LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行下一個(gè)時(shí)間值的預(yù)測(cè)過(guò)程中，每一個(gè)預(yù)測(cè)過(guò)程都和之前的輸入沒(méi)有關(guān)系了，只與最后一個(gè)更新的state有關(guān)，但由于state中存儲(chǔ)的信息有限，最終會(huì)導(dǎo)致模型預(yù)測(cè)的結(jié)果與實(shí)際結(jié)果值相比偏差較大。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)在時(shí)間序列預(yù)測(cè)領(lǐng)域中，一般的LSTM神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果與實(shí)際結(jié)果值相比偏差較大的不足，本發(fā)明提供了一種注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型構(gòu)建方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

一種注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型構(gòu)建方法，包括以下步驟：

步驟S1：采集時(shí)間序列數(shù)據(jù)，將采集到的時(shí)間序列數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；

步驟S2：將標(biāo)準(zhǔn)化處理后的時(shí)間序列數(shù)據(jù)按先后順序輸入到長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)LSTM中，獲取并保存長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)LSTM每個(gè)時(shí)間步輸入時(shí)間序列數(shù)據(jù)后更新的狀態(tài)向量；

步驟S3：使用卷積神經(jīng)網(wǎng)絡(luò)CNN對(duì)長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)LSTM中每個(gè)時(shí)間步之前連續(xù)的多個(gè)狀態(tài)向量進(jìn)行卷積運(yùn)算，得到與每一個(gè)時(shí)間步相對(duì)應(yīng)的區(qū)域信息表征向量；

步驟S4：計(jì)算時(shí)間步之間所對(duì)應(yīng)的區(qū)域信息表征向量的相似度，并根據(jù)相識(shí)度對(duì)區(qū)域信息表征向量賦予不同的權(quán)值；

步驟S5：將區(qū)域信息表征向量的權(quán)值映射為0～1之間的實(shí)數(shù)，并保證所有權(quán)值映射后的值的和為1；

步驟S6：將每個(gè)時(shí)間步的狀態(tài)向量與對(duì)應(yīng)時(shí)間步映射后的權(quán)值進(jìn)行加權(quán)融合操作，得到最終的注意力表征向量，完成注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型的構(gòu)建；

步驟S7：使用損失函數(shù)以及優(yōu)化器對(duì)權(quán)值進(jìn)行優(yōu)化，將注意區(qū)域信息相似性的時(shí)間序列預(yù)測(cè)模型運(yùn)算過(guò)程中的損失降到最小。

優(yōu)選的，在步驟S1中，進(jìn)行標(biāo)準(zhǔn)化處理的方式為采用歸一化處理，即：