[發明專利]一種用于交通預測的時空注意力機制方法

有效

• 申請號: 201910826273.4
• 申請日: 2019-09-03
• 公開（公告）號: CN110619430B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 申彥明;師曉明;莊壯;齊恒;尹寶才
• 申請（專利權）人: 大連理工大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/26;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;劉秋彤

1.一種用于交通預測的時空注意力機制方法，其特征在于，步驟如下：

第一步，將交通數據進行預處理

(1)時間粒度劃分：將所有交通數據的整個時間段被分成等長連續時間間隔；

(2)空間粒度劃分：將一組路段定義為A＝{1,2,…,N},其中，N表示路段的數量；

(3)對數據進行標準化：表示在時間t的N個路段的交通量；鑒于歷史觀測值x＝(x₁,x₂,...,x_T)∈R^N*T，交通量預測旨在預測其中，T表示數據的時間總長度，h是對不同任務關注的標準；

第二步，將預處理后的交通數據劃分為訓練集、驗證集和測試集；

第三步，構建基于注意力的周期性時間神經網絡模型APTN

基于注意力的周期性時間神經網絡模型包括全連接層、長周期模型、具有空間注意力的編碼器、具有時間注意力的解碼器、生成預測模型和自回歸模型；各個模型的結構如下：

(1)全連接層：使用完全連接的網絡來獲得長短周期的交通數據特征的提取功能；全連接層的每一個結點都與上一層的所有結點相連，用來把前邊提取到的特征綜合起來；

(2)長周期模型：該模型包括基于長短期記憶網絡LSTM；LSTM擁有三個門來控制細胞狀態，第一個是遺忘門，用于決定丟棄上一層細胞狀態的哪些信息；第二個是輸入門，用于確定哪些新的信息能夠被存放到細胞中；第三個是輸出門，用來控制該層的細胞狀態的過濾情況；

(3)具有空間注意力的編碼器：是一個基于長短期記憶網絡LSTM的編碼器，編碼器由空間注意力機制和長短期記憶網絡組成；使用特征維度的平方根來縮放點積，利用周期向量和注意權重，構造編碼器LSTM的輸入；

(4)具有時間注意力的解碼器：是一個基于LSTM的循環神經網絡和時間注意力機制的解碼器；

(5)生成預測模型：使用兩層完全連接的網絡來獲得神經網絡的最終輸出，并且在時間T+i處的預測輸出全連接層是一類神經網絡層，它的每一個結點都與上一層的所有結點相連，用來把前邊提取到的特征綜合起來；

(6)自回歸模型AR：用同一變數x₁至x_t-1來預測本期x_t的表現；

第四步，使用訓練集數據對基于注意力的周期性時間神經網絡模型的進行預訓練

(1)輸入數據進入全連接層進行特征提取

將長周期數據X^L和短周期數據X^S輸入全連接層，其中，為最近時段的歷史觀測值，T_s是基于注意力的周期性時間神經網絡模型使用的時間寬度，對于長周期的周期性建模，在每個周期內，需要T_s數量的數據，設要考慮n個周期，將作為長周期數據；

全連接層提取所輸入的交通數據的特征z_t＝W_vx_t+b_v,其中W_v∈R^v*N，v是特征表示維度，z_t∈R^v是x_t的嵌入，b_v是特征公式中的偏置值；然后，由交通量的特征量z_t得到Z^L和Z^S；和表示長周期數據X^L和短周期數據X^S的嵌入矩陣；

(2)長周期嵌入矩陣Z^L輸入長周期模型中的長期循環神經網絡

將長期嵌入交通信息輸入長期循環神經網絡，基于LSTM更新過程表示為，其中z_t∈R^v是時間t的輸入，是先前的T_lLSTM單元的隱藏狀態，f_LSTM()表示對LSTM學習的映射函數；從該循環跳躍LSTM，獲得T_s隱藏狀態，表示為將H^L稱為長期周期性分量，它將被傳送到編碼器；

在更新過程中，將所有LSTM單元的隱藏表示的維度設置為相同的值m；接著使用ReLU(x)＝max(0，x)作為每層的激活函數；最后使用具有時間跳躍連接的循環結構來模擬長期周期性依賴，其中在當前隱藏單元和相鄰時段中相同相位中的隱藏單元之間添加跳越連接；

(3)短周期嵌入矩陣Z^S輸入注意力機制部分

1)短周期數據和長期周期性分量輸入到基于LSTM的編碼器中，計算不同道路之間的相關性：

其中，“；”表示連接，U_e∈R^v*2m,U_l∈R^v*m,V_e∈R^v*3v,W_e、U_e、U_l和V_e代表可學習參數，h_t-1∈R^m和s_t-1∈R^m是前一編碼器LSTM單元的隱藏狀態和單元狀態；和分別是鄰近性數據的特征和周期性數據的特征；表示當前時間數據的特征，α_t∈R^v是衡量z_t中每個值的重要性的注意力量；

使用特征維度的平方根來縮放點積；利用周期向量和注意權重，構造編碼器LSTM的輸入：首先，在時間t計算加權輸入z_t,w，然后將z_t,w和h^L_t連接為編碼的輸入，h_t＝f₁([h_t-1,[z_t,w；h^L_t]),其中f₁是編碼器LSTM學習的映射函數，h_t是編碼器的輸出；令為編碼器隱藏狀態；

2)具有時間注意力的解碼器：作為具有時間注意力的解碼器的輸入，解碼器使用另一個基于LSTM的循環神經網絡來解碼編碼信息；具體地，基于先前解碼器隱藏狀態d_t-1和單元狀態s’_t-1計算時間t處的注意力機制權重：

其中，W_d∈R^m,W_d、U_d和V_d代表可學習參數，m是LSTM單元的隱藏表示的維度，d_t-1∈R^m和s'_t-1∈R^m是前一個解碼器的隱藏狀態和單元狀態LSTM單位，是衡量每個時間步長重要性的注意力量，＝分別表示鄰近性數據的特征和周期性數據的特征，然后使用這些注意權重和短期輸入向量來構造解碼器的輸入：

c_t＝H_eβ_t

其中，W_c∈R^m*(m+v)，W_c是可學習參數，c_t是上下文向量的加權和，b_c是偏置參數；新計算的用于在時間t更新解碼器隱藏狀態：其中f₂是解碼器LSTM學習的映射函數，解碼器的輸出是解碼器的隱藏狀態d_t；

3)生成預測模型：將編碼器的隱藏狀態h_t和解碼器的隱藏狀態d_t輸入到兩層全連接層，獲得其中W_i∈R^v*2m和V_i∈R^v*v代表可學習參數，b_wi和b_vi代表偏置參數；并且在時間T+i處的預測輸出其中Wⁱ_m∈R^N*v,Vⁱ_m∈R^N*N代表可學習參數，表示偏置參數；

(4)將注意力機制中產生的預測輸出輸入到自回歸模型與多層全連接層，在時間T+i時來自自回歸部分的輸出是：

其中T_ar是短期輸入的輸入窗口大小，是的第j個值，代表可學習參數，x_T-j代表短周期數據，代表偏置參數；

同時APTN的最終預測是神經網絡和AR分量的輸出的整合：

采用平方誤差作為基于注意力的周期性時間神經網絡模型在訓練中的損失函數：代表APTN的最終預測，x_T+i代表短周期數據；其中Ω是訓練樣本的數量，使用Adam優化器來最小化損失；

第五步，使用訓練集數據對第三步建立的基于注意力的周期性時間神經網絡模型進行整體訓練

將輸入數據輸入到基于注意力的周期性時間神經網絡模型中，計算得到模型的結果；計算每次訓練后的預測值和真值的損失函數值，最小化損失函數值，將模型的參數訓練到目標值；根據模型在訓練集、驗證集上的效果，不斷調試模型的超參數，在減小過擬合的條件下提高預測精度；

所述的輸入數據包括：長周期數據X^L，短周期數據X^S；

第六步，使用測試集數據并利用第五步訓練好的模型進行預測

輸入數據為：長周期數據X^L，短周期數據X^S；

外部特征模型所輸出的結果就是最終的預測值。