[發明專利]高維重現概念漂移流數據的變化趨勢預測方法及裝置

有效

• 申請號: 202010648319.0
• 申請日: 2020-07-07
• 公開（公告）號: CN111797122B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 紀楊建;孫林進
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06N3/04;G06N3/08
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 陳瀟瀟

本發明實施方式提供一種高維重現概念漂移流數據的變化趨勢預測方法及裝置，屬于流數據變化趨勢預測技術領域。方法包括：獲取表征目標變量狀態變化的實時時序數據流；以實時時序數據流為輸入，經概念漂移預測模型輸出表征目標變量未來狀態變化的最終預測時序數據流；概念漂移預測模型，經預設的訓練集對D?LSTM神經網絡進行離線訓練，以及依據實時時序數據流對D?LSTM神經網絡進行在線自回歸預測訓練得到。本發明通過融合深度學習算法和在線預測的方法有效提高了高維重現概念漂移流數據變化趨勢的預測精度，解決了傳統的靜態數據變化趨勢預測方法對高維重現概念漂移流數據變化趨勢預測泛化能力有限的問題。

技術領域

本發明涉及流數據變化趨勢預測技術領域，具體地涉及一種高維重現概 念漂移流數據的變化趨勢預測方法及一種高維重現概念漂移流數據的變化 趨勢預測裝置。

背景技術

隨著大數據時代的到來，許多以流的形式產生的數據充斥著生活的方方 面面，比如，工廠中傳感器等設備產生的數據，社交網站用戶構成的不斷變 化的社會網絡數據，股票期貨市場中的實時交易數據等等，流數據相比于靜 態數據存在著諸多難點，例如流數據由于持續時間長，很容易使得數據的分 布發生變化產生概念漂移從而影響到數據的預測精度，而重現概念漂移是概 念漂移的一種，指的是之前出現過的概念在將來可能再次出現，但出現的時 間不確定。目前對于重現概念漂移的研究主要集中在利用漂移數據的分布特 點對數據流的概念漂移進行提前檢測，例如使用漂移檢測算法(Drift DetectionMethod，DDM)基于數據在訓練過程中的誤差變化確定漂移的發 生以及漂移的類型；使用元模型漂移檢測算法(Meta-Model Drift Detector) 根據對象數據集的特征分布確定數據的漂移，同時保存漂移數據塊和對應的 漂移類型，用于重復概念漂移的檢測。事實上，對于流數據而言，目標數據 的概念漂移不僅體現在其自身數據的分布上，還可以直接或間接體現在其相 關變量上，這一點對于高維流數據而言更為明顯。目前有關趨勢預測的研究 主要集中在靜態數據上，往往采用離線方式獲取全部的訓練數據后實施學習 與訓練，而這類方法直接用于處理存在概念漂移的流數據會存在精度逐漸降 低的問題。

發明內容

本發明實施方式的目的是通過對D-LSTM神經網絡進行離線訓練和在 線自回歸預測訓練建立概念漂移預測模型，以解決現有方法往往采用離線方 式獲取全部的訓練數據后對預測模型實施學習與訓練，導致現有方法直接用 于處理存在概念漂移的流數據時存在精度逐漸降低的問題。

為了實現上述目的，在本發明的第一方面，提供一種高維重現概念漂移 流數據的變化趨勢預測方法，包括：

獲取表征目標變量狀態變化的實時時序數據流；

以所述實時時序數據流為輸入，經概念漂移預測模型輸出表征所述目標 變量未來狀態變化的最終預測時序數據流；

所述概念漂移預測模型，經預設的訓練集對D-LSTM神經網絡進行離線 訓練，以及依據所述實時時序數據流對所述D-LSTM神經網絡進行在線自回 歸預測訓練得到。

可選地，所述以所述實時時序數據流為輸入，經概念漂移預測模型輸出 表征所述目標變量未來狀態變化的最終預測時序數據流，包括：

以所述實時時序數據流為輸入，經離線訓練后的D-LSTM神經網絡對所 述實時時序數據流進行在線自回歸預測，輸出表征所述目標變量未來狀態變 化的第一時序數據流；以及

計算所述第一時序數據流的預測誤差并依據所述預測誤差更新所述離 線訓練后的D-LSTM神經網絡的網絡參數，得到二次訓練后的D-LSTM神 經網絡；

以所述實時時序數據流為輸入，經二次訓練后的D-LSTM神經網絡，輸 出表征所述目標變量未來狀態變化的第二時序數據流；

對所述第一時序數據流和所述第二時序數據流加權求和，輸出所述最終 預測時序數據流。