[發(fā)明專利]基于深度長短期記憶神經(jīng)網(wǎng)絡(luò)對多變量時間序列分類方法

有效

• 申請?zhí)枺?/td>: 201810004117.5
• 申請日: 2018-01-03
• 公開（公告）號: CN108182259B
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 馬千里;秦州
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開了一種基于深度長短期記憶神經(jīng)網(wǎng)絡(luò)對多變量時間序列分類方法，該方法通過選擇長短期記憶神經(jīng)元結(jié)構(gòu)作為遞歸神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元結(jié)構(gòu)，對長短期記憶神經(jīng)元進(jìn)行堆疊，設(shè)計(jì)出一種深層的遞歸神經(jīng)網(wǎng)絡(luò)分類框架，以達(dá)到提高多變量時間序列數(shù)據(jù)分類準(zhǔn)確率的目的。通過實(shí)驗(yàn)對比發(fā)現(xiàn)，本發(fā)明比已有的分類模型準(zhǔn)確度更高，并且在多個領(lǐng)域的時間序列數(shù)據(jù)集分類任務(wù)上具有普適性。

技術(shù)領(lǐng)域

本發(fā)明涉及時間序列的數(shù)據(jù)挖掘技術(shù)領(lǐng)域，具體涉及一種基于深度長短期記憶神經(jīng)網(wǎng)絡(luò)對多變量時間序列分類方法。

背景技術(shù)

多變量時間序列數(shù)據(jù)是時序數(shù)據(jù)的一種重要類型，被用于包括醫(yī)療、金融、工業(yè)制造、語音、視頻等多個領(lǐng)域，對于多變量時間序列的分類是時序數(shù)據(jù)挖掘中的一類基本問題。相比于傳統(tǒng)的分類模型，多變量時序分類模型主要有兩個關(guān)鍵點(diǎn)，建模多變量之間的相關(guān)性以及建模數(shù)據(jù)當(dāng)中的時序性。

現(xiàn)階段對多變量時間序列數(shù)據(jù)分類的方法可以歸納為四類，其一是使用滑動時間窗口重構(gòu)樣本空間，在樣本中引入時序特性，再將重構(gòu)后的樣本輸入到分類器中分類，其缺點(diǎn)是時間窗口的長度需要人為指定，不同的時間窗口會對分類準(zhǔn)確度造成較大影響；其二是使用動態(tài)時間規(guī)整算法，計(jì)算樣本之間的距離，再將這些距離輸入到近鄰分類器中進(jìn)行分類，其缺點(diǎn)是動態(tài)時間規(guī)整算法默認(rèn)樣本的各個變量之間的重要性相同，這與實(shí)際不符；其三是提取時間序列樣本的子序列，用子序列代替原序列進(jìn)行分類，其缺點(diǎn)是提取子序列可能造成原有序列的部分信息丟失；最后一種方法是使用遞歸神經(jīng)網(wǎng)絡(luò)，但是隱層使用簡單激活結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)被證明不能對時序數(shù)據(jù)的長期時序依賴建模。

長短期記憶神經(jīng)元(Long Short Term Memory,LSTM)結(jié)構(gòu)是遞歸神經(jīng)網(wǎng)絡(luò)隱層的一種結(jié)構(gòu)，因其結(jié)構(gòu)特點(diǎn)規(guī)避了遞歸神經(jīng)網(wǎng)絡(luò)梯度彌散和梯度激增的問題，目前在機(jī)器翻譯、圖像和視頻標(biāo)注、問答系統(tǒng)、語音識別、手寫體識別等多個問題上效果顯著。但是上述問題對應(yīng)的輸入輸出類型均為序列型，例如機(jī)器翻譯中，輸入樣本為源語言序列，輸出結(jié)果為目標(biāo)語言序列。然而，在時間序列分類問題中，輸出結(jié)果為類別標(biāo)簽。他們的核心區(qū)別在于是否在每一個時間步(幀)都必須存在必要的結(jié)果輸出，顯然，對于時間序列分類問題，僅需要在最后一個時間步，即當(dāng)所有時間步上的樣本全部輸入到模型中之后，產(chǎn)生對應(yīng)該樣本的類別判定標(biāo)簽即可。

對于多變量時間序列分類任務(wù)，有的樣本特征數(shù)目龐大，有的樣本時間長度非常長，還有的樣本所屬類別數(shù)目很多，不能簡單得套用單變量時序分類算法。而單層LSTM模型面對以上種種問題時分類準(zhǔn)確率并不高。而多層感知機(jī)的層狀架構(gòu)啟示研究人員疊加LSTM層，形成一個空間和時間上擴(kuò)展的模型，以構(gòu)成更加復(fù)雜的隱藏層狀態(tài)提高模型分類能力。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于深度長短期記憶神經(jīng)網(wǎng)絡(luò)對多變量時間序列分類的方法，利用長短期記憶神經(jīng)元結(jié)構(gòu)作為遞歸神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元結(jié)構(gòu)，設(shè)計(jì)出一種深層的遞歸神經(jīng)網(wǎng)絡(luò)分類框架，以達(dá)到提高多變量時間序列數(shù)據(jù)分類準(zhǔn)確率的目的。

本發(fā)明的目的可以通過采取如下技術(shù)方案達(dá)到：

一種基于深度長短期記憶神經(jīng)網(wǎng)絡(luò)對多變量時間序列分類方法，所述的方法包括以下步驟：

S1、對樣本的每個變量進(jìn)行歸一化，若數(shù)據(jù)集中各樣本長度相同，跳轉(zhuǎn)到步驟S2，否則對數(shù)據(jù)集中的樣本通過尾部填充標(biāo)記值的方法進(jìn)行長度一致化；

S2、計(jì)算分類所需LSTM的層數(shù)；

S3、根據(jù)計(jì)算得到的LSTM層數(shù)，構(gòu)建深度長短期記憶神經(jīng)網(wǎng)絡(luò)分類模型，將i-1層輸出向量作為i層的輸入向量；

S4、將最上層LSTM層的輸出輸入到Softmax分類器中，將最后一個時間步的輸出結(jié)果作為深度長短期記憶神經(jīng)網(wǎng)絡(luò)分類模型對于樣本的類別判定；