[發明專利]基于多元時序數據分析的高精度長期時間序列預測方法

在審

• 申請號: 202111539166.7
• 申請日: 2021-12-15
• 公開（公告）號: CN114239718A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王則昊;樊謹;俞曉鋒;汪煒杰;孫丹楓
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于多元時序數據分析的高精度長期時間序列預測方法，使用離散網絡用于分層平行提取多元時間序列的全局特征和局部特征，在提高多元時間序列預測精度的同時降低了計算復雜度、減少了模型規模并且增加了模型的預測長度。本發明采用分層平行提取多元時間序列的全局特征和局部特征機制，提升了預測精度，降低了模型的內存使用量，利用局部特征提高對多元時間序列的局部細微波動的擬合能力，并且增加了模型的預測長度，大大提升了模型在多元時間序列預測上的效果。

技術領域

本發明屬于時間序列預測領域，具體涉及一種基于多元時序數據分析的高精度長期時間序列預測方法。

背景技術

時間序列預測是時間序列分析領域的一個重要分支，其廣泛應用于天氣預測、股票預測和異常檢測等領域中。時間序列預測方法通過學習過去的時間序列的特征規律，從而預測未來一段時間內的時間序列。隨著預測序列長度的增加與單變量時間序列向多變量時間序列的轉變，時間序列預測問題的難度相應增加，長時間序列預測問題要求方法具有更長的預測能力和更高的預測精度，而多元變量時間序列預測要求方法可以捕捉到多元變量之間的關系，在這種依賴關系的基礎上，同時對多個變量的時間序列進行高精度的預測。

近年來，越來越多的新方法被提出，它們增加了模型在長序列上的預測能力與捕獲多元變量間關系的能力。隨著時間序列預測問題的要求逐漸增高，眾多方法在學習時間序列中存在的長距離依賴關系等問題上越來越乏力，難以取得進一步的突破。直到基于注意力機制(Attention,AT)的Transformer方法被提出，其在提取距離較長的兩個元素之間依賴關系問題上有著突破性的提高。近年來，越來越多的方法將Transformer方法或注意力機制用于時間序列預測問題上，取得了較大的進展。但Transformer方法以及注意力機制都有著較高的計算復雜度，使得它們對內存具有很高的要求，從而無法直接用于更長的預測要求。于是，越來越多的模型對Transformer的計算復雜度等問題進行改善，使其在更長的時間序列預測中取得更好的效果。在眾多變體模型中，Informer方法在各個方面取得最好的效果。

Informer對Transformer的結構進行了改進，采用多頭稀疏自注意力機制(Multi-head Probsparse Self-attention)與自注意力蒸餾機制(Self-attention Distilling)，在降低模型計算復雜度至O(N log N)(N為輸入序列的長度)的同時還提高了多元變量長時間序列預測的精度。但是它還具有一些問題：1)較高的計算復雜度和較多的內存使用；2)不具備對時間序列的局部細微波動部分的擬合與預測能力，致使預測精度還有提升空間；3)方法中提取出的特征可解釋性低；4)預測長度有限，不能滿足更長的時間序列預測問題。

發明內容

本發明要解決的技術問題是已有模型精度不足，計算復雜度過高、占用內存規模較大和預測長序列能力不足。本發明提出了一種基于多元時序數據分析的高精度長期時間序列預測方法。經過測試后，對Informer中存在的四個問題均有一定的改善，從而在多元變量時間序列預測問題上取得了更佳的結果。

本發明采用的技術方案是：采用具有分層平行提取特征的離散網絡(SeparateNetwork)作為核心模塊，整體架構采用分層機制，逐層平行提取多元時間序列的全局特征與局部特征，對所有特征加以分析后，以全局特征為綱，結合各層局部特征來對輸入的多元時間序列以及需要預測的部分進行構建，最終輸出預測部分。

基于多元時序數據分析的高精度長期時間序列預測方法，步驟如下：

步驟1：數據預處理，獲得訓練數據集和驗證數據集。

步驟2：借助于步驟1得到的訓練數據集，每次隨機選取32組訓練數據，輸入到離散框架模型中，每組數據中的歷史序列和起始序列分別輸入到離散框架模型中的真實編碼器和預測編碼器中，兩個編碼器通過離散網絡(Separate Network)對輸入序列提取全局特征和局部特征。