[發明專利]一種基于時序圖Transformer的連續動態網絡表征學習方法

在審

• 申請號: 202111434187.2
• 申請日: 2021-11-29
• 公開（公告）號: CN114118375A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 王英;李瑩姬;吳越
• 申請（專利權）人: 吉林大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/13
• 代理公司: 長春市恒譽專利代理事務所(普通合伙) 22212
• 代理人: 李榮武

本發明公開了一種基于時序圖Transformer的連續動態網絡表征學習方法，屬于網絡表征學習領域，包括：由基于連續動態系統的時序編碼模塊對動態網絡的時序信息進行建模，將時間戳信息編碼為向量，和節點的特征向量進行結合；基于節點在動態圖中的影響力進行中心度編碼，將節點的度作為其中心度信息編碼到節點特征中，由基于中心度編碼的注意力模塊捕獲動態網絡的結構信息；設計基于注意力機制的空間事件系數描述動態網絡中事件依賴的全局范圍。本發明應用神經常微分方程編碼連續時序信息，并通過中心度編碼和堆疊多層Transformer實現對動態網絡中時序信息和拓撲結構信息的提取，以學習包含全局依賴關系的連續動態網絡表征。

技術領域

本發明屬于網絡表征學習領域，更確切的說，本發明涉及一種基于時序圖Transformer的連續動態網絡表征學習方法。

背景技術

動態網絡是指網絡中除了包含節點和邊之外，還包含網絡歷史狀態信息、網絡在某一時刻的快照以及時間戳等相關信息，由此，將動態網絡分為兩種類型：基于快照的離散型動態網絡和時間連續的連續型動態網絡。離散型動態網絡可以看作是多個靜態圖在固定時間間隔內的組合，而連續型動態網絡是一系列時間相關事件的集合，對應著網絡中節點和邊的增加或減少，也更符合真實的復雜網絡變化過程。

現有的動態網絡表征學習(Dynamic Network Representation Learning，DNRL)方法大多集中在離散網絡上。離散DNRL方法通常采用一個圖神經網絡(Graph NeuralNetwork，GNN)對每個圖的快照進行編碼，然后結合循環神經網絡(Recurrent neuralnetwork，RNN)模型來揭示不同時間戳下的節點和邊之間的交互以及不同時間下的關聯關系。它們通過記錄不同時刻的圖結構，可以在一定程度上描述網絡的動態。然而,離散網絡意味著事件(例如,添加和刪除節點或邊)被認為同時發生在同一快照,從而導致大量的信息損失和事件在時間線上的不均勻分布。

連續DNRL方法可以提供更細粒度的時間信息，其在動態網絡建模方面具有更高的潛力。這些方法要么使用RNN模型對每個節點保持隱表示，要么使用RNN模型對建模連續事件的時間點過程參數化。這些方法由于使用RNN對時間信息進行建模而受到限制，且只關注局部鄰域信息的聚合。然而，現實網絡中發生的事件不僅涉及到新出現的邊，而且由于整體結構的變化，還會對更大的區域產生影響。以往的連續DNRL方法忽略了全局信息的重要性，導致網絡演化過程中未聚合的結構信息和語義信息丟失。

發明內容

本發明所要解決的技術問題是基于離散方法的動態網絡表征學習時間粒度較粗，無法捕獲連續完整的動態信息，而基于連續方法的動態網絡表征學習受限于僅利用RNN編碼時間序列，并且它們只聚合局部鄰域信息，導致學習到的表征不足以反映全局的拓撲和語義信息。為了克服這些問題，本發明提出一種基于時序圖Transformer的連續動態網絡表征學習方法，在由事件和事件發生時間組成的連續時間網絡中聚合全局事件驅動信息。

為達到上述目標，本發明提出的一種基于時序圖Transformer的連續動態網絡表征學習方法的技術方案包括如下步驟：

步驟一：由基于連續動態系統的時序編碼模塊對動態網絡的時序信息進行建模，將時間戳信息編碼為向量，作為傳播過程中時間信息的唯一來源，并和節點的特征向量進行結合，為每個節點引入一定的時序信息。

(1)構造連續映射函數，其接受任意時刻作為輸入，將離散時間從時域空間投影到d維的向量空間。

(2)指定多層感知機，其描述從前一時刻轉換至后一時刻的動態時間軌跡變化過程。

(3)將連續映射函數和多層感知機的關系公式轉換為常微分方程其中p(t)是定義在正實數域上的連續函數，g(τ,p_τ；w_h)是多層感知機，(τ,p_τ)為前一時刻的狀態，w_h是該神經網絡的參數，該方程保證有唯一解。