[發明專利]基于注意力改進的交通預測方法及計算機介質

在審

• 申請號: 202111293933.0
• 申請日: 2021-11-03
• 公開（公告）號: CN114021811A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 曾博;葛亮;周慶;黎森文;林永全
• 申請（專利權）人: 重慶大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/26;G06F17/16;G06F17/18;G06N3/04;G06N3/08
• 代理公司: 重慶雙馬智翔專利代理事務所(普通合伙) 50241
• 代理人: 顧曉玲

1.一種基于注意力改進的交通預測方法，其特征在于，包括如下步驟：

輸入觀測的交通數據，依次經過全連接層和注意力層，計算注意力參數；

隨機采樣注意力參數，計算每組采樣的注意力參數中的分布與平均分布的KL散度值；

根據每組注意力參數中的KL散度值，獲取注意力參數的概率分布與均勻分布之間的差值Top-u；

根據差值Top-u，獲取差值最大的多個注意力參數；

使用一個4維的張量Φ∈R^B×T×N×N對獲取的注意力參數同時進行空間和時間上的卷積，將卷積后的注意力參數輸入全連接層，輸出預測交通流量，其中，R表示實數張量矩陣，B為mini-batch維度，T為時間維度，N×N為空間上的鄰接矩陣維度。

2.如權利要求1所述的基于注意力改進的交通預測方法，其特征在于，計算注意力的值的方法：

定義一種基于(Q,K,V)三矩陣輸入的規范自注意力：

其中，Q,K,V表示張量矩陣；Softmax()為分類函數，表示使用Q矩陣乘以K矩陣的轉置；

對應的維度為L_Q，L_K，L_V分別表示Q，K，V的中間維度，R表示實數張量矩陣，L表示維度，d為輸入的維度；

使用q_i，k_i，v_i分別代表矩陣Q，K，V中的第i行，第i個注意力參數表示為：

其中，概率概率p(k_j∣q_i)表示第i個query中在key中的注意力，V_j為矩陣V中的向量。

3.如權利要求1所述的基于注意力改進的交通預測方法，其特征在于，計算KL散度值的方法如下：

對注意力參數進行歸一化處理，基于均勻分布的注意力參數理論值為當概率時，注意力參數變為對矩陣V的平均求和；

對概率p和注意力參數理論值q進行比較得出差值，設置閾值h，當該差值大于閾值h，篩選出重要的概率p，使得Q矩陣變為稀疏矩陣：

是一個和Q相同大小的矩陣，其中只包含由計算得到差值超過閾值h的注意力參數，其余注意力參數設為0，概率p與注意力參數q之間的KL散度值：

4.如權利要求3所述的基于注意力改進的交通預測方法，其特征在于，所述獲取注意力參數的概率分布與均勻分布之間的差值Top-u的方法如下：

對原始矩陣Q中的值進行采樣，利用KL散度值計算概率p與注意力參數q間概率分布的差值，令采樣系數u＝c·lnL_Q，c為人為根據經驗設置的超參數，計算注意力涉及到的矩陣內積計算的時間復雜度為空間復雜度為

利用注意力參數的長尾分布，隨機選取U＝L_Qln L_K個概率分布對，計算U個概率分布與均勻分布之間的差值Top-u，并將差值Top-u填充入矩陣內，將矩陣內未填充的部分設置為0，矩陣變成一個稀疏矩陣。