[發明專利]基于注意力機制的時間序列數據預測方法

有效

• 申請號: 202010875958.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112036082B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 李國瑞;武雅君
• 申請（專利權）人: 東北大學秦皇島分校
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/10;G01M13/04;G06Q10/04;G06Q10/00
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

本發明提供一種基于注意力機制的時間序列數據預測方法，涉及數據預測技術領域。本發明考慮隨時間推移過程所帶來的固有不確定性，并量化為時變變量。針對時序數據建立預測模型，更新參數時添加注意力分布對權值進行打分，有效提高預測準確性。通過判斷預測值是否達到故障閾值來判斷機械是否能夠正常運行，若預測數據超過故障閾值，則機械可能出現故障，需進行維修保養，若小于故障閾值，則機械能夠正常運行。與現有技術相比，本發明通過添加注意力分布，可以更準確地預測未來數據。提前提供故障警告并改進維修計劃，從而降低了意外維修的成本，提高了機器的可靠性、可用性和安全性。

技術領域

本發明涉及數據預測技術領域，尤其涉及一種基于注意力機制的時間序列數據預測方法。

背景技術

時間序列預測分析是利用過去一段時間內某事件的特征來預測未來一段時間內該事件的特征。時間序列預測技術在市場需求預測、發電預測、股票走勢預測、區域降水量預測等經濟、工程和自然科技等領域，具有重要意義。

相關向量機RVM(Relevance vector machine)是一種基于貝葉斯訓練框架的稀疏概率模型，能夠處理高維、非線性、小樣本等問題，具有良好的稀疏性、泛化能力和較高的算法精度。建立基于注意力機制的RVM模型進行預測，該模型比現有方法具有更高的預測精度。

在設備運行過程中，由于零件老化、操作不當等原因，系統經常發生不同類型的故障，如果沒有及時采取有效的措施，可能會導致整個設備停機，甚至產生嚴重災難。為了避免這種情況的發生，機器的剩余使用壽命預測已經成為一項關鍵技術，它可以提前提供故障警告并改進維修計劃，從而降低意外維修的成本，提高機器的可靠性、可用性和安全性。然而，預測常常受到不確定因素的影響，如系統輸入不確定因素、傳感器測量不確定因素、使用條件的運行環境不確定因素以及退化模型的建模不確定因素，如何表示和量化這些不確定性，從而提高預測的有效性與準確性至關重要。

從目前主流的技術和應用研究工作綜合來看，機械剩余壽命預測方法主要可以分為：

1)基于模型的故障預測技術；

2)基于數據驅動的故障預測技術；

3)基于統計可靠性的故障預測技術。

基于模型的故障預測方法假定可以獲得對象系統精確的數學模型。但是通常難以針對復雜動態系統建立精確的數學模型。因此，基于模型的故障預測技術的實際應用和效果受到了很大限制。基于數據的故障預測技術以采集的數據為基礎，通過各種數據分析處理方法挖掘其中的隱含信息進行預測操作，不考慮數據之間的關聯性，不僅需要相當數量的故障數據來訓練預測模型，成本過高，而且預測準確性較低。

發明內容

針對現有技術中存在的問題，本發明提供一種基于注意力機制的時間序列數據預測方法，考慮隨時間推移過程所帶來的固有不確定性，并量化為時變變量。針對時序數據建立預測模型，更新參數時添加注意力分布對權值進行打分，從而有效提高預測準確性。通過判斷預測值是否達到故障閾值來判斷機械是否能夠正常運行，若預測數據超過故障閾值，則機械可能出現故障，需進行維修保養，若小于故障閾值，則機械能夠正常運行。

本發明所采取的技術方案是：

一種基于注意力機制的時間序列數據預測方法，包括以下步驟：

步驟1：收集時間序列退化數據觀測值，{x₁,…,x_N}為{t₁,…,t_N}時刻的觀測值集合，其中N為觀測值個數；