[發明專利]基于注意力機制的時間序列數據預測方法

有效

• 申請號: 202010875958.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112036082B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 李國瑞;武雅君
• 申請（專利權）人: 東北大學秦皇島分校
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N20/10;G01M13/04;G06Q10/04;G06Q10/00
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

1.一種基于注意力機制的時間序列數據預測方法，其特征在于：包括以下步驟：

步驟1：收集滾動軸承加速壽命退化試驗數據集，其中{x₁，…，x_N}為{t₁，…，t_N}時刻的觀測值集合，N為觀測值個數；

步驟2、基于滾動軸承時間序列退化數據集X＝[x₁，…，x_N]^T建立RVM回歸預測模型，x_n+1＝w^Tφ(x_n)+ε，其中，x_n為第n時刻的退化數據觀測值，n＝d，…，N；d為嵌入維數；w＝[w₀，…，w_d]^T為模型權重參數，Φ＝[φ_d(x_d)^T，…，φ_N(x_N)^T]^T為核函數矩陣，φ_n(x_n)＝[1，k(x_n-d+1，x_n)，…，k(x_n，x_n)]，k(x，x)是核函數，ε～N(0，β^-1)為服從正態分布的隨機誤差；β^-1為ε方差；

步驟3、針對模型權重參數w引入先驗參數α＝[α₀，…，α_d]^T，即令利用時間序列退化數據集X訓練模型，迭代求解參數α和β，即令其中，m為w的后驗均值，m_i為m的第i元素；∑為w的后驗方差矩陣，為矩陣∑的i行i列元素，迭代求解時基于時間序列退化數據之間的相關性，為權重參數w添加注意力權重c＝[c₀，…，c_d]^T，k表示迭代次數；α^-1為先驗方差；p(w_i)為w_i概率密度函數，w_i為w第i元素；α_i為α第i元素；t＝[x_d+1，…，x_N]^T；

步驟3.1、進行數據初始化：設置先驗參數α為d+1維隨機向量，設置參數β為0到1之間的隨機數，設置最大迭代次數k_th，初始化k＝1；

步驟3.2、進行迭代更新；

步驟3.2.1、更新w的后驗方差矩陣∑：∑＝(Z+βΦ^TΦ)^-1

步驟3.2.2、更新w的后驗均值m：m＝β∑Φ^Tt；

步驟3.2.3、更新α：其中，α_i為α第i元素，i＝0，…，d.

步驟3.2.4、更新β：

步驟3.2.5、令k＝k+1，若迭代次數k≥k_th或||α_k+1-α_k||的值收斂，則迭代結束并輸出α和β^-1；否則，跳轉至3.2.1；

步驟4、根據RVM回歸預測模型預測N+1時刻的退化預測數據x_N+1＝m^Tφ_N[x_N)；

步驟5、通過判斷x_N+1是否達到故障閾值來判斷機械是否能夠正常運行，若x_N+1超過故障閾值，則機械要進行維修保養，若小于故障閾值，則機械正常運行；

其中，步驟3中所述迭代求解為：邊緣似然函數令邊緣似然函數的導數等于0；得到：

其中，∑＝(Z+βΦ^TΦ)^-1，m＝β∑Φ^Tt；由于權值w后驗p(w|t，α，β)＝N(w|m，∑)所以∑＝(Z+βΦ^TΦ)^-1為后驗方差，m＝β∑Φ^Tt為后驗均值；

其中，步驟3中所述權重參數w添加注意力權重c＝[c₀，…，c_d]^T：其中，Z＝AB，p(w|cα)為w先驗分布；

所述注意力權重c_j＝f(s([x_j，…，x_N-d-1+j]^T，t))

其中，j＝1，…，d，c＝[c₀，…，c_d]^T，c₀＝1；t＝[x_d+1，…，x_N]^T；s(a，b)為注意力度量，用于表示a與b的相似性；f(s)為注意力權重分配函數。