[發明專利]一種基于Transformer的動態異構網絡鏈路預測方法

在審

• 申請號: 202210369788.8
• 申請日: 2022-04-09
• 公開（公告）號: CN114648172A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 竹翠;阮貝貝;朱文軍
• 申請（專利權）人: 北京工業大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 王兆波

本發明公開了一種基于Transformer的動態異構網絡鏈路預測方法，包括：步驟1，以節點和鏈接集合作為輸入，根據定義的動態異構網絡構建成一個動態異構網絡；步驟2：以構建好的動態異構網絡作為輸入，通過信息網絡的異構表示方法，得到節點在不同視圖下的嵌入向量；步驟3：以構建好的動態異構網絡作為輸入，通過信息網絡的動態編碼方法，得到具有動態特征的節點嵌入向量；步驟4：整合具有異構特征和動態特征的節點嵌入向量，最小化交叉熵損失函數，得到預測模型；步驟5：通過預測模型獲取測試時期網絡中節點對的最終嵌入向量，計算相似性并預測鏈路。基于以上步驟，本發明驗證了針對網絡中的已知節點和新節點的鏈路預測具有良好的效果。

技術領域

本發明屬于數據挖掘領域，涉及圖神經網絡技術，是一種基于Transformer的動態異構網絡鏈路預測方法。

背景技術

從社交網絡、問答論壇到生物信息學等，研究者把這些領域中用戶、商品等看作節點，節點間交互看作鏈接，這些節點和鏈接形成一個巨大的信息網絡圖。大多真實世界的信息網絡圖具有異構性和動態性，即網絡由多類型的節點和鏈接組成，并且隨著時間的推移，新鏈接及新節點的產生導致網絡結構不斷演變。鏈路預測即通過分析網絡中異構特征及動態演變等信息，來預測未來時期網絡中節點間的鏈接。鏈路預測在現實中有很多應用，如在問答論壇上分析信息的擴散規律。因此，對動態異構網絡鏈路預測的探究具有重要的研究價值和實際意義。

鏈路預測方法通過對網絡表示學習以得到節點嵌入向量，并計算節點向量相似性來預測鏈路。目前傳統的鏈路預測方法，或忽略異構特征在網絡中的重要作用，或忽略動態演變對網絡結構的影響，對節點的特征表示不夠全面。在此基礎上，由于網絡演變會產生全新的節點，這要求方法具有一定的歸納學習能力，以便對新節點進行鏈路預測。所以，在對動態異構網絡的表示學習的基礎上，設計出針對新節點的鏈路預測方法就有著非常重要的現實意義，通過學習網絡的拓撲結構、異構特征和動態特征將新節點“對齊”到網絡中已知的節點嵌入中，從而避免新節點鏈路預測的冷啟動問題。

為了有效地完成未來時期動態異構網絡中新節點的鏈路預測，需要先學習歷史網絡中的異構特征和動態特征，以得到已知節點的特征表達。在此基礎上，方法需要適應變化的網絡結構圖，以自然地推廣到新增的節點。其次方法需要將新增的節點“對齊”到訓練中方法已經優化的節點嵌入，這要求方法具有更強的泛化能力及特征學習能力。因此，如何在動態異構網絡的表示學習上進一步針對新節點設計合理有效的鏈路預測方法是目前亟需解決的難點問題之一。

發明內容

本發明提出一種基于Transformer的動態異構網絡鏈路預測方法。方法將在基于圖注意力網絡分別結合分視圖理論及時間編碼函數學習節點的異構特征和動態特征的基礎上，為了能對新節點歸納合適的嵌入表達，并有效地預測新節點間的鏈路，引入了Transformer模型。首先，Transformer中的多頭注意力、前饋神經網絡結合殘差網絡，能增強模型的泛化能力和特征學習能力。其次，在信息網絡的異構表示方法中鄰居聚合的方式，方法將按照時間順序采樣得到鄰居子圖，基于Transformer進行鄰居聚合，以節點序列的方式捕獲鄰居特征，并結合圖注意力網絡得到不同鏈接類型下的節點向量。最后，得到具有異構特征和動態特征的節點嵌入向量，通過計算節點在某種鏈接類型下的相似性來預測在該鏈接類型下的鏈路。因此，方法通過增強模型的泛化能力及特征學習能力，從而為新節點歸納合適的嵌入，有效地預測新節點間的鏈路。

一種基于Transformer的動態異構網絡鏈路預測方法，其中包括如下步驟：

步驟1，本發明提出了針對動態異構網絡中新節點的鏈路預測方法，方法將分五部分完成。一是構建動態異構網絡，二是信息網絡的異構表示方法，三是信息網絡的動態編碼方法，四是最小化交叉熵損失函數，五是鏈路預測。

步驟2，信息網絡的異構表示方法。異構特征提取中，根據鏈路類型將網絡分成多個視圖，每個視圖包含一種類型的鏈接，并對各個視圖基于Transformer進行鄰居聚合，視圖間基于圖注意力網絡互相融合以得到不同鏈接類型下的節點嵌入向量。