[發(fā)明專利]一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202110654675.8
• 申請日: 2021-06-11
• 公開（公告）號: CN113345236A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計）人: 馬曉磊;閆昊陽;李昱潔
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G08G1/01
• 分類號: G08G1/01;G06N3/04
• 代理公司: 北京慕達(dá)星云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法，其特征在于，包括：

數(shù)據(jù)編碼嵌入：獲取交通網(wǎng)絡(luò)的狀態(tài)數(shù)據(jù)，并對交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)進(jìn)行處理，編碼和嵌入后得到向量化交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)；

全局空間特征提取：根據(jù)所述的向量化交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，提取交通網(wǎng)絡(luò)中不同空間位置之間的全局關(guān)聯(lián)關(guān)系特征；

局部空間特征信息提取：根據(jù)所述的向量化交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，結(jié)合已有的鄰接矩陣信息，提取交通網(wǎng)絡(luò)中限定范圍的空間位置之間的局部關(guān)聯(lián)關(guān)系特征；

全局-局部特征融合：根據(jù)所述的全局空間特征和局部空間特征，融合兩部分提取到的特征，實現(xiàn)全局-局部特征的加權(quán)融合；

單步交通狀態(tài)預(yù)測：根據(jù)所述的全局-局部特征，單步地一次預(yù)測多個未來時刻的時空交通網(wǎng)絡(luò)狀態(tài)。

2.根據(jù)權(quán)利要求1所述的一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法，其特征在于，所述數(shù)據(jù)編碼嵌入的步驟中，對所述交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)進(jìn)行處理的過程，具體包括：

將交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)處理為時空交通狀態(tài)預(yù)測問題的定義形式；

將交通網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)按照時間維度提取特征，進(jìn)行時間維度嵌入；

進(jìn)行時間維度嵌入后的數(shù)據(jù)，重新按照空間維度排布為按照固定順序排列的序列，進(jìn)行位置上的編碼嵌入。

3.根據(jù)權(quán)利要求2所述的一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法，其特征在于，所述時空交通狀態(tài)預(yù)測問題的定義為張量形式的時空圖：

其中，代表N個節(jié)點組成的集合，這些節(jié)點表示交通系統(tǒng)中提前設(shè)置的檢測器；ε代表連通節(jié)點的邊所組成的集合，且A_N×N表示邊所構(gòu)成的鄰接矩陣；在T個間隔為Δt的離散時間步內(nèi)的交通狀態(tài)的變化由特征張量X表示；時間步t時節(jié)點i的特征向量表示為其中代表實數(shù)域；C代表C個不同的交通狀態(tài)特征，包括速度、流量和密度。

4.根據(jù)權(quán)利要求2所述的一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法，其特征在于，所述時間維度嵌入方法可表示為：

f_t＝σ(W_f(h_t-1，x_t)+b_f)

i_t＝σ(W_i(h_t-1，x_t)+b_i)

o_t＝σ(W_o(h_t-1，x_t)+b_o)

h_t＝o_t*tanh(C_t)

其中，f_t代表長短期記憶神經(jīng)網(wǎng)絡(luò)的遺忘門；i_t、表示輸入門；C_t表示細(xì)胞狀態(tài)；o_t表示輸出門；h_t表示隱藏狀態(tài)；以上符號中，t代表了對應(yīng)的第t步順序編號，σ為Sigmoid激活函數(shù)；W和b分別表示對應(yīng)層的權(quán)重參數(shù)和偏置；每一個時間步驟的輸入都會被嵌入到一個隱藏狀態(tài){h₁，h₂，...，h_t-1，h_t}中，僅最后一個隱藏狀態(tài)h_t會被選擇使用。

5.根據(jù)權(quán)利要求2所述的一種基于Transformer網(wǎng)絡(luò)的時空交通狀態(tài)預(yù)測方法，其特征在于，所述位置上的編碼嵌入包括位置編碼和位置嵌入。

其中，位置編碼表示為函數(shù)PE_(pos，2i)和PE_(pos，2i+1)：

其中，pos代表序列中的位置；i代表向量的維度；d_model代表向量總的維度數(shù)；

其中，位置嵌入表示為：

其中，N代表序列的總長度；代表可學(xué)習(xí)的參數(shù)矩陣。