[發明專利]一種基于時序圖Transformer的連續動態網絡表征學習方法

在審

• 申請號: 202111434187.2
• 申請日: 2021-11-29
• 公開（公告）號: CN114118375A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 王英;李瑩姬;吳越
• 申請（專利權）人: 吉林大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/13
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 李榮武

1.一種基于時序圖Transformer的連續動態網絡表征學習方法，其特征在于，主要包括以下步驟：

步驟一：由基于連續動態系統的時序編碼模塊對動態網絡的時序信息進行建模，將時間戳信息編碼為向量，作為傳播過程中時間信息的唯一來源，并和節點的特征向量進行結合，為每個節點引入一定的時序信息；

步驟二：基于節點在動態網絡中的影響力進行中心度編碼，將節點的度作為其中心度信息編碼到節點特征當中，由基于中心度編碼的注意力模塊捕獲動態網絡的結構信息；

步驟三：在注意力機制的基礎上，提出空間事件系數，以描述動態網絡中全局范圍內的事件依賴關系，使Transformer架構在動態網絡中具有全局的感受野。

2.根據權利要求1所述的基于時序圖Transformer的連續動態網絡表征學習方法，其特征在于，所述步驟一，包括：

(1)構造連續映射函數，其接受任意時刻作為輸入，將離散時間從時域空間投影到d維的向量空間；

(2)指定多層感知機，其描述從前一時刻轉換至后一時刻的動態時間軌跡變化過程；

(3)將連續映射函數和多層感知機的關系公式轉換為常微分方程其中p(t)是定義在正實數域上的連續函數，g(τ,p_τ；w_h)是多層感知機，(τ,p_τ)為前一時刻的狀態，w_h是該神經網絡的參數，該方程保證有唯一解；

(4)把常微分方程的求解過程看作是一個黑盒ODESolve，得到待優化的損失函數和微分方程求解器的關系如下：

其中，損失函數的輸入是常微分方程的求解結果；

(5)使用NODE中的方法逼近神經常微分方程的解，以將內存成本降低到近似常數級別，并且確保在誤差容忍度的范圍內降低計算成本；計算出損失函數L對p(t)的梯度作為梯度入口adjoint a(t)＝-dL/p(t)，其中，a(t)相當于是時間編碼的梯度，求得動態網絡中不同時刻a(t)的變化率時間t是連續的，通過已經得到的a(t)和p(t)，對參數w_h求導并積分得到損失對參數的導數：

(6)計算給定的源節點和目標節點之間的時間間隔，表明二者的相對時間位置，通過對數據集的觀測得到動態網絡中節點的最大時間戳，自定義時間間隔，將離散的時間集合作為輸入，得到自然數域上的時間編碼：

其中，g是一個非時變函數，對于任意給定時刻的p(t)，整個動態網絡中的潛在時間軌跡是唯一定義的，通過推斷該潛在軌跡，可以在時間上任意向前或向后進行預測得到下一時刻的時間向量；

(7)將時間編碼融入到節點特征中，以通過端到端的方式進行訓練，由此可計算出時間編碼產生的針對特定任務的損失L＝L(p₁,…,p_N)。