[發明專利]一種基于元結構和圖神經網絡的網絡表征學習方法

有效

• 申請號: 202010573056.1
• 申請日: 2020-06-22
• 公開（公告）號: CN111737535B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 熊贇;徐攸;朱揚勇
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/907;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

本發明提供一種基于元結構和圖神經網絡的網絡表征學習方法。本發明通過圖神經網絡和帶權注意力機制來聚合鄰居節點的信息，采用層次搜索算法生成候選的元結構集合，不需要預先定義元結構，并且相比于以往的元路徑，可以考慮到節點之間更復雜的結構信息。本發明融合了圖神經網絡強的學習能力和元結構的豐富語義，有效解決了以往基于元路徑的方法考慮結構單一以及需要依賴經驗指定元結構的問題。并且，引入帶權的注意力機制可以顯式地考慮到元結構中的數量信息。進而生成比傳統表征分類方式的結果更精確的最終節點，該最終節點可作為向量表征可用于后續的其他機器學習人物中。

技術領域

本發明屬于大數據技術領域，具體涉及一種基于元結構和圖神經網絡的網絡表征學習方法。

背景技術

網絡廣泛存在于現實世界中，許多現實場景下都可以通過網絡或圖來建模表示物體以及物體之間聯系。許多的研究工作關注于網絡或圖中節點的表征學習，其將本身復雜且不規則的圖中包含的節點表示為長度相等且維度較低的向量，將向量應用到后續的機器學習任務可以表現出較好的效果，例如節點分類、節點聚類、異常檢測和鏈接預測等。一類被廣泛關注的網絡被稱為異質信息網絡(Heterogeneous Information Network,HIN)，例如常見的引用網絡，網絡由作者節點 (A)、期刊節點(C)、論文節點(P)等多種類型節點構成，由于其節點和邊的類型復雜，異質信息網絡中的網絡表示學習(Network Embedding)是一項困難的任務。近年來，圖神經網絡(Graph Neural Network,GNN)和注意力機制(Attention Mechanism)被較多研究應用到網絡表征學習中，其通過對鄰居節點中的信息進行聚合，得到的節點表示可以在諸如節點分類以及聚類相關的機器學習任務中表現出色。

然而，當前大多數圖神經網絡和注意力機制都依賴于預定義的元路徑(Meta-path)，而預定義需要借助背景知識或對數據集的了解來預先定義元路徑增加了機制的操作難度，同時元路徑表示的還具有過度單一的缺點。

發明內容

為解決上述問題，提供一種基于元結構和圖神經網絡的網絡表征學習方法，本發明采用了如下技術方案：

數據準備，通過網絡獲取若干個相關信息，并將所述若干個相關信息處理形成一個帶有節點屬性的異質信息網絡；網絡表征學習，將所述異質信息網絡輸入到經過表征學習訓練后得到的所述網絡表征學習模型；向量表征獲取，將所述網絡表征學習模型輸出的最終節點作為所述異質信息網絡的所述向量表征，其中，對所述網絡表征學習模型進行的所述表征學習訓練的具體步驟為：訓練數據集準備步驟，給定多個帶有節點屬性的所述異質信息網絡作為訓練數據集，從所述訓練數據集中提取一個所述異質信息網絡輸入到所述網絡表征學習模型；層次搜索步驟，根據輸入的所述異質信息網絡的網絡模式和目標節點類型以及預令的最大搜索深度來生成候選的元結構集合，根據層次搜索算法將所述元結構集合中的元結構進行對稱補齊；計算矩陣步驟，將所述元結構分為單條路徑元結構和多條路徑元結構，分別通過單路徑算法和多路徑算法獲得所述單條路徑元結構和所述多條路徑元結構各自對應的鄰接矩陣，對所述鄰接矩陣進行平衡鏈接重要性后獲取矩陣元素；鄰居信息聚合步驟，基于所述元結構計算得到注意力系數，使用多頭注意力機制算法，基于所述矩陣元素和所述注意力系數計算所有所述元結構的輸出特征，對所有所述元結構使用轉換矩陣進行轉換，并將所有所述轉換矩陣的結果加和作為最終節點；計算交叉熵損失和梯度回傳，通過交叉熵計算公式獲得基于所述最終節點的交叉熵損失，通過梯度反向傳播算法進行多輪的參數迭代直到所述交叉熵損失收斂，完成對所述網絡表征學習模型的所述表征學習訓練。