[發(fā)明專利]一種用于交通預(yù)測(cè)的時(shí)空注意力機(jī)制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910826273.4
• 申請(qǐng)日: 2019-09-03
• 公開（公告）號(hào): CN110619430B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 申彥明;師曉明;莊壯;齊恒;尹寶才
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06Q10/04
• 分類號(hào): G06Q10/04;G06Q50/26;G06N3/04;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 梅洪玉;劉秋彤

本發(fā)明提供了一種用于交通預(yù)測(cè)的時(shí)空注意力機(jī)制方法，屬于交通預(yù)測(cè)領(lǐng)域。本發(fā)明是一種端到端解決方案的交通預(yù)測(cè)框架，它可以對(duì)空間、短期和長(zhǎng)期的周期性依賴關(guān)系進(jìn)行建模。APTN首先使用編碼器的注意力機(jī)制來對(duì)空間依賴項(xiàng)和周期依賴項(xiàng)進(jìn)行建模。我們的模型可以更容易地捕獲這些依賴關(guān)系，因?yàn)槊總€(gè)節(jié)點(diǎn)都要處理網(wǎng)絡(luò)中的所有其他節(jié)點(diǎn)。然后，應(yīng)用時(shí)間注意選擇相關(guān)的編碼器隱藏狀態(tài)跨越所有時(shí)間步驟。我們使用真實(shí)世界的交通數(shù)據(jù)集來評(píng)估我們提出的模型，并觀察在最先進(jìn)的基線上的一致性改進(jìn)。

技術(shù)領(lǐng)域

本發(fā)明屬于交通預(yù)測(cè)領(lǐng)域，具體涉及一種用于交通預(yù)測(cè)的時(shí)空注意力機(jī)制方法。

背景技術(shù)

交通預(yù)測(cè)系統(tǒng)數(shù)據(jù)具有空間性，時(shí)空性(周期性，時(shí)序性)。現(xiàn)階段，對(duì)交通預(yù)測(cè)的方法主要是通過深度學(xué)習(xí)的CNN進(jìn)行空間的相關(guān)提取，RNN或其變體 LSTM/GRU進(jìn)行時(shí)間依賴性建模。

這些通過整合CNN和LSTM來聯(lián)合建模空間，時(shí)間和外部特征依賴性的方法可能無法充分模擬空間相關(guān)性，因?yàn)榫矸e操作只聚合本地信息，并且需要很多層來學(xué)習(xí)遠(yuǎn)距離空間依賴性。使用多層卷積來緩解這個(gè)問題，其在建模空間依賴性時(shí)考慮距離，功能相似性和運(yùn)輸連通性。但它需要利用空間結(jié)構(gòu)的性質(zhì)，例如距離，功能相似性，不同區(qū)域的交通連通性。

神經(jīng)網(wǎng)絡(luò)最開始是受生物神經(jīng)系統(tǒng)的啟發(fā)，為了模擬生物神經(jīng)系統(tǒng)而出現(xiàn)的，由大量的節(jié)點(diǎn)(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。神經(jīng)網(wǎng)絡(luò)根據(jù)輸入的變化，對(duì)權(quán)值進(jìn)行調(diào)整，改善系統(tǒng)的行為，自動(dòng)學(xué)習(xí)到一個(gè)能夠解決問題的模型。 LSTM(長(zhǎng)短記憶網(wǎng)絡(luò))是RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))的一種特殊形式，有效地解決多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的梯度消失和梯度爆炸問題，能夠處理長(zhǎng)時(shí)時(shí)間依賴序列。LSTM 能夠捕獲充電量數(shù)據(jù)的時(shí)間序列特性，使用LSTM模型能夠有效提高預(yù)測(cè)精度。

LSTM網(wǎng)絡(luò)由LSTM單元組成，LSTM單元由單元，輸入門，輸出門和遺忘門組成。

遺忘門：決定從上一個(gè)單元的輸出狀態(tài)中丟棄多少信息，公式如下：

f_t＝σ_g(W_fx_t+U_fh_t-1+b_f)

其中，f_t是遺忘門的輸出，x_t是輸入序列，h_t-1是上一個(gè)單元的輸出，σ_g表示sigmoid函數(shù)，W_f表示輸入的權(quán)重參數(shù)矩陣，U_f表示上一個(gè)單元輸出的權(quán)重參數(shù)矩陣，b_f表示偏差參數(shù)向量。

輸入門：決定讓多少新的信息加入到Cell狀態(tài)中，并對(duì)單元狀態(tài)C進(jìn)行更新，公式如下：

i_t＝σ_g(W_ix_t+U_ih_t-1+b_i)

其中，c_t表示當(dāng)前單元的單元狀態(tài)，σ_g和σ_c表示sigmoid函數(shù)，表示矩陣乘積，W_i表示輸入的權(quán)重參數(shù)矩陣，U_i表示上一個(gè)單元輸出的權(quán)重參數(shù)矩陣，b_i表示偏差參數(shù)向量，f_t是遺忘門的輸出，c_t-1是上一個(gè)單元的單元狀態(tài)，表示矩陣乘積，W_c表示輸入的權(quán)重參數(shù)矩陣，U_c表示上一個(gè)單元輸出的權(quán)重參數(shù)矩陣， b_c表示偏差參數(shù)向量。

輸出門：基于當(dāng)前的單元狀態(tài)輸出結(jié)果。