[發明專利]一種融合時間注意力機制的時間序列預測系統

在審

• 申請號: 201910112901.2
• 申請日: 2019-02-13
• 公開（公告）號: CN109902862A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 李建欣;彭杰奇;周號益;張迎春;張帥
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

1.一種融合時間注意力機制的時間序列預測系統，其特征在于，包括預處理模塊，預測模塊；其中預處理模塊對原始記錄和數據進行處理組成時序序列，所述預測模塊使用編碼-解碼模塊對所述時序序列進行編碼并對所述時間序列蘊含的所需信息和數據進行預測；所述預測模塊中包括角度正則化模塊，所述角度正則化模塊對所述時間序列中每一個時間點數據編碼信息的影響力權重進行調整。

2.如權利要求1所述的系統，其特征在于，所述預測模塊的編碼-解碼模塊包括編碼器和解碼器，給定長度為T的時間序列X，X由各個時間點的數據構成：

X＝<x₁，x₂...x_T> (1)

序列Y由預測之后n個時間點的數據構成：

Y＝<y₁，y₂…y_n> (2)

編碼器對輸入的時間序列X進行編碼，將輸入的時間序列通過非線性變換轉換為一個中間向量C：

C＝F(x₁，x₂...x_T) (3)

所述中間向量表示蘊含了時間序列X中的信息。

解碼器根據時間序列X的中間向量表示C和解碼生成的歷史信息y₁，y₂…y_i-1生成第i個時刻要預測的數據y_i：

y_i＝G(C，y₁，y₂...y_i-1) (4)

F和G分別指編碼器和解碼器使用的RNN(一般是LSTM或GRU)。

3.如權利要求2所述的系統，其特征在于，預測模塊中包括注意力機制，時間注意力機制會對時間序列中的每一個時間點進行權重分配，其中由每一個時間點的數據編碼得到的信息為進行時序數據預測的超平面，超平面之間的角度可由各時間點分配到的注意力權重向量進行定義，并通過角度正則化模塊使超平面之間的角度最大；所述注意力機制的工作方式為，當預測不同時刻的數據時，所述注意力機制為解碼器提供不同的中間向量編碼C_i，使相對關聯程度更大的時間點的數據信息能夠得到更高的注意力分配，所述C_i包含時間序列X的每一個時間點的信息對不同時刻的數據預測的影響；已經解碼生成的歷史信息y_i-1和第i個時刻解碼器的隱狀態s_i以及注意力機制生成的所述中間向量C_i生成第i個時刻要預測的數據y_i：

y_i＝g(y_i-1，s_i，C_i) (5)

其中，s_i代表解碼器使用的LSTM在i時刻的隱狀態，由上一個時刻解碼器的隱狀態s_i-1和歷史信息y_i-1以及所述注意力機制生成的中間向量表示C_i得來：y_i代表解碼器使用的LSTM在i時刻的輸出，

s_i＝f(y_i-1，s_i-1，C_i) (6)

所述中間向量表示C_i是注意力機制在預測不同時刻的數據時，對輸入的時間序列的不同時間點的數據進行注意率分配得到的結果：

所述h_j是第j個時間點編碼器的隱狀態，α_ij是注意力機制分配在第j個時間點編碼器隱狀態上的權重，α_ij計算公式：

所述e_ij為衡量時間序列X中第j個時間點的信息對預測第i個時刻的數據的影響程度，由上一個時刻解碼器的隱狀態s_i-1和第j個時間點編碼器的隱狀態h_j計算得來：

e_ij＝score(s_i-1，h_j) (9)

所述score(s_i-1，h_j)為：

score(s_i-1，h_j)＝v^T tanh(W_as_i-1+U_ah_j) (10)。

4.如權利要求3所述的系統，其特征在于，所述角度正則化模塊的正則化項方式為：

R(W)＝-min_k≠tθ_kt (11)

其中θ_kt表示第k個時間點和第t個時間點的數據編碼代表的超平面之間的角度，加入角度正則化項后的損失函數為：

其中L(W)是原本的損失函數，λ和β是正則項系數，W是所述公式(10)中的第j個時間點編碼器的隱狀態h_j的系數。