[發明專利]一種融合時間注意力機制的時間序列預測系統

在審

• 申請號: 201910112901.2
• 申請日: 2019-02-13
• 公開（公告）號: CN109902862A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 李建欣;彭杰奇;周號益;張迎春;張帥
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

本發明提出一種融合時間注意力機制的時間序列預測系統，包括預處理模塊，預測模塊；其中預處理模塊對原始記錄和數據進行處理組成時序序列，所述預測模塊使用編碼?解碼結構對時序序列進行編碼并對該時間序列蘊含的所需信息和數據進行預測；所述預測模塊中包括角度正則化模塊，所述角度正則化模塊對所述時間序列中每一個時間點數據得到的編碼信息所獲得的影響力權重進行調整。

技術領域

本發明涉及一種時間序列預測系統，尤其涉及一種融合時間注意力機制的時間序列預測系統。

背景技術

時間序列是指按時間次序有序排列的一組數據，任何有次序的實值型序列都可以當作時間序列來處理。時間序列數據廣泛存在于社會生活的各個方面，如金融收益、氣象研究、醫學診斷、道路交通、電力系統、商品需求、工業生產、網絡安全等。隨著信息技術的不斷發展，時間序列數據量與日俱增，數據維度也越來越高。

時間序列預測是指對給定時間序列進行分析并預測未來發生的變化。時間序列數據的分析和預測在許多應用中具有重要意義，更早得出預測以及得到更精確的預測對于指導決策意義重大。例如在工業生產領域，根據傳感器的時間序列數據預測機器的未來表現，及時發現并處理異常，避免生產事故；在制造業，對整個生產鏈的各部分不同類型的未來數據進行預測，以便調整生產計劃，提高產出并減少周轉時間；在金融領域，挖掘金融產品的波動規律并對未來數據進行預測，從而為投資者規避風險并制定可盈利的投資策略；在醫學診斷中，需要分析慢性病患者的就診記錄，并對其未來可能出現的加重情況進行預警，及時通知患者就診，保障患者生命健康；在電力系統中，對不同時期和不同位置的電力負荷進行預測是規劃和實施各種電氣項目的關鍵指標；在氣象領域，對多類型的氣象時序數據進行分析和預測，從而進行環境污染控制、氣象預報、水文預報等。

傳統的時間序列預測僅根據歷史時間序列的趨勢發展來預測未來時間序列的趨勢發展，通過建立適當的數學模型擬合歷史時間趨勢曲線，根據所建模型預測未來時間序列的趨勢曲線，常見模型包括ARMA，VAR，TAR，ARCH等。傳統時間序列所依賴的數據較簡單，只需要歷史時間序列趨勢曲線便可構建模型，可適用于多種場景，模型較為通用。但是傳統時間序列預測法常面臨滯后性問題，即預測值晚于真實值幾個時間單位。

隨著大數據時代的到來和人工智能的飛速發展，深度學習對于捕捉長時間序列和高維數據中的信息并進行預測具有出色的效果，基礎且經典的時序預測深度學習模型包括：長短期記憶模型(LSTM/GRU)及各種改進循環神經網絡模型來改善長時序數據分析過程中的記憶長期依賴問題，解決了RNN模型的梯度消失的信息損失問題；Encoder-Decoder(編碼-解碼)結構和時間注意力機制能夠對時間序列的不同時間點賦予不同的影響力(即權重)，抽取出可能的關鍵時間點和其包含的信息，使模型做出更準確的判斷，同時不會增加計算與存儲上的開銷。

角度正則化在處理多分類問題時，能夠使得區分不同類別的超平面之間角度最大，從而使經過超平面劃分后的每個類別所包括的空間最大，減少類間的空白劃分，將一些之前被忽略的樣本劃入分類中，提高分類器的泛化性。其中角度可由超平面的權重向量之間的關系定義。

基于深度學習的神經網絡方法和時間注意力機制在一定程度上優化了當前復雜數據條件下的時間序列預測的有效性和準確性，但是時間注意力機制得到的時間序列各時間點權重會表現出長尾效應，即較少的時間點擁有較高權重，而有大部分時間點擁有較小權重，現實世界的時間序列數據產生原因多樣，不同時間點相互之間聯系復雜，對于時間序列中分配到較小權重的某些時間點其數據特征表現不明顯，但是仍然會對需要預測的信息或異常具有重要影響，因此注意力機制反而可能丟失一些重要的信息。

發明內容