[發明專利]基于注意力改進的交通預測方法及計算機介質

在審

• 申請號: 202111293933.0
• 申請日: 2021-11-03
• 公開（公告）號: CN114021811A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 曾博;葛亮;周慶;黎森文;林永全
• 申請（專利權）人: 重慶大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/26;G06F17/16;G06F17/18;G06N3/04;G06N3/08
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

本發明屬于智能交通技術領域，具體公開了一種基于注意力改進的交通預測方法及計算機介質，該方法利用全連接層計算注意力參數，隨機采樣注意力參數，計算每組采樣的注意力參數中的分布與平均分布的KL散度值，根據每組注意力參數中的KL散度值，獲取注意力參數的概率分布與均勻分布之間的差值Top?u，根據差值Top?u，獲取差值最大的多個注意力參數，使用一個4維的張量Φ∈R^B×T×N×N對獲取的注意力參數同時進行空間和時間上的卷積，將卷積后的注意力參數輸入全連接層，輸出預測交通流量。采用本技術方案，在使用注意力獲取動態的拉普拉斯矩陣，降低計算時間復雜度和空間復雜度，增加模型的感受野。

技術領域

本發明屬于智能交通技術領域，涉及一種基于注意力改進的交通預測方法及計算機介質。

背景技術

建立智能交通系統(ITS)正成為現代交通研究的關鍵，其中交通預測發揮著至關重要的作用，具有廣泛的應用前景，如優化交通道路使用分配、提前規劃客戶路線、引導道路建設等。

隨著交通檢測器和傳感器在城市道路網絡上的大量使用，現代交通系統累計了大量歷史數據，動態變化的交通系統中產生的大量數據中隱藏著豐富的信息和規律性。人們提出并研究了許多基于歷史路網信息的模型，其中主要研究的是如何通過新的方法建立時間序列模型，并利用路段節點的空間關系。傳統方法主要有卡爾曼濾波器和統計學模型，最新的方法主要是采用人工智能。

現實世界的交通系統，受到許多因素的影響，例如非線性和非平穩的交通數據、天氣和事件等。從而難以挖掘空間和時間特征，現有的挖掘方法有，例如，空間狀態神經網絡SSNN，其目的是為了尋找基于一階上下文記憶的時空關系；深度時空卷積DSTCN，利用卷積神經網絡CNN探索空間關系，并利用遞歸神經網絡RNN挖掘時間信息。這些模型建立了時空關系，但是忽略了道路網絡在空間上的自然拓撲結構，甚至破壞了自然拓撲結構，導致模型性能不足。而采用最新研究的DGCN(Dual Graph Convolutional Networks，對偶圖卷積網絡)模型，為了獲取到不同時間步之間的距離，采用了大量的注意力機制，需要進行大量的高維向量矩陣運算，并且在特征采樣層內為了捕捉時間關系，引入了LSTM層，從而導致運算的時間復雜度和空間復雜度非常高。另由于時間復雜度和空間復雜度較高的情況，DGCN模型在特征輸入模型之前便將特征由原定的60個點經過卷積變成16個點，該項缺點限制了DGCN輸入時序的長度(特征采樣層存在的意義)，也限制了DGCN預測較遠的時間節點的能力(一方面模型感受到的數據被卷積層把維度降低了，另一方面很難輸入更長的時間序列數據)。

發明內容

本發明的目的在于提供一種基于注意力改進的交通預測方法及計算機介質，降低計算時間復雜度和空間復雜度。

為了達到上述目的，本發明的基礎方案為：一種基于注意力改進的交通預測方法，包括如下步驟：

輸入觀測的交通數據，依次經過全連接層和注意力層，計算注意力參數；

隨機采樣注意力參數，計算每組采樣的注意力參數中的分布與平均分布的KL散度值；

根據每組注意力參數中的KL散度值，獲取注意力參數的概率分布與均勻分布之間的差值Top-u；

根據差值Top-u，獲取差值最大的多個注意力參數；

使用一個4維的張量Φ∈R^B×T×N×N對獲取的注意力參數同時進行空間和時間上的卷積，將卷積后的注意力參數輸入全連接層，輸出預測交通流量，其中，R表示實數張量矩陣，B為mini-batch維度，T為時間維度，N×N為空間上的鄰接矩陣維度。