[發明專利]一種基于時序圖神經網絡的節點表示方法及增量學習方法

在審

• 申請號: 202110033737.3
• 申請日: 2021-01-11
• 公開（公告）號: CN112686376A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 谷峪;魏頔;宋振;于戈
• 申請（專利權）人: 東北大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 梁焱

1.一種基于時序圖神經網絡的節點表示方法，包括：對時序圖快照中節點的特征向量進行預處理的步驟；其特征在于，還包括：為預處理后的時序圖快照中節點生成帶有結構信息和時序信息的節點嵌入表示的步驟。

2.根據權利要求1所述的基于時序圖神經網絡的節點表示方法，其特征在于，所述的為預處理后的時序圖快照中節點生成帶有結構信息和時序信息的節點嵌入表示的步驟，包括以下步驟：

步驟I，用每一個帶有雙重注意力機制的GCN模型分別處理不同時刻的時序圖快照，進行圖卷積計算，求得在任一時刻的任一節點的結構嵌入表示；

步驟II，將在每一時刻的任一節點的結構嵌入表示作為一個序列輸入到t-GRU時序網絡中進行串行計算，求得在任一時刻的任一節點的最終的帶有結構信息和時序信息的嵌入表示。

3.根據權利要求2所述的基于時序圖神經網絡的節點表示方法，其特征在于，所述步驟I包括如下步驟：

步驟I-1，對于時序圖中任一時刻的圖快照，計算任一節點與其所有鄰居節點的特征注意力系數；

步驟I-2，利用RWR算法計算該任一節點與其兩跳鄰居節點所構成的子圖中的其它節點的結構注意力系數；

步驟I-3，對得到的特征注意力系數及結構注意力系數進行加權求和求得該任一節點與其鄰居節點最終的注意力系數；

步驟I-4，利用圖注意力網絡GAT中的聚合方法對圖中任一節點的嵌入向量及其鄰居節點的嵌入向量進行聚合及拼接得到最終的節點結構嵌入表示。

4.根據權利要求3所述的基于時序圖神經網絡的節點表示方法，其特征在于，所述步驟I-2中，按照以下公式計算任一節點i與其兩跳鄰居節點所構成的子圖中的節點j的結構注意力系數β_ij：

其中，V_i和V_j分別表示由節點i和節點j及其兩跳鄰居節點構成的子圖的節點集合；p表示集合V_i和集合V_j的并集中的點；w_ip和w_jp分別表示節點p在由集合V_i和集合V_j構成的子圖中的重要性權重；min(·,·)和max(·,·)分別表示求最小值和最大值操作；s_ij表示節點i和節點j之間的結構相似系數；β_ij表示節點i和節點j之間的結構注意力系數。

5.根據權利要求3所述的基于時序圖神經網絡的節點表示方法，其特征在于，所述步驟I-3中，按照以下公式計算節點i與其鄰居節點j之間的注意力系數c_ij：

其中，α_ij和β_ij分別表示節點i和節點j之間的特征注意力系數和結構注意力系數；參數γ和θ表示的是可調的超參數或者是通過訓練得到的模型參數；c_ij表示節點i和節點j之間的注意力系數。

6.根據權利要求2所述的基于時序圖神經網絡的節點表示方法，其特征在于，所述步驟II中所述的t-GRU時序網絡是基于對任一時刻t的GRU網絡單元的輸入h_t-1的改進得到，改進內容包括：利用tanh激活函數將t時刻GRU網絡的輸入嵌入h_t-1拆分為短期記憶嵌入及長期記憶嵌入并利用以節點變化的時間間隔Δt作為自變量的衰減函數g(Δt)作為權重函數來對短期記憶嵌入進行加權，將加權后的短期記憶嵌入與長期記憶嵌入組合成新的網絡輸入

7.采用權利要求2至6任一項所述的基于時序圖神經網絡的節點表示方法的增量學習方法，其特征在于，對于某一時刻T到來的增量數據，首先，將T時刻之前所有時刻處的任一節點的結構嵌入表示作為中間結果進行存儲，然后，按照步驟I的方法，只利用一個帶有雙重注意力機制的GCN模型處理T時刻的增量圖數據，得到T時刻圖節點的結構嵌入表示；最后，按照步驟II的方法，將T時刻得到的結構嵌入表示與存儲的中間結果合成一個序列輸入到t-GRU網絡中進行串行計算，得到T時刻圖中任一節點的最終嵌入表示。