[發明專利]一種基于元結構和圖神經網絡的網絡表征學習方法

有效

• 申請號: 202010573056.1
• 申請日: 2020-06-22
• 公開（公告）號: CN111737535B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 熊贇;徐攸;朱揚勇
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/907;G06F17/16;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉

1.一種基于元結構和圖神經網絡的網絡表征學習方法，用于將學術信息網站的異質信息網絡輸入到網絡表征學習模型生成向量表征，其特征在于，包括：

數據準備，通過網絡獲取論文和會議的相關信息，并將所述相關信息處理形成一個帶有節點屬性的異質信息網絡；其中，節點包括作者節點A、論文節點P、會議節點C和主題節點T；

網絡表征學習，將所述異質信息網絡輸入到經過表征學習訓練后得到的所述網絡表征學習模型；

向量表征獲取，將所述網絡表征學習模型輸出的表征作者節點A的節點信息的最終節點作為所述異質信息網絡的所述向量表征，

所述向量表征表示該最終節點的節點信息以及在所述異質信息網絡上所有與該最終節點具有相關性的節點信息，該向量表征至少應用于其他子分類型學習機器領域，從而完成對所述異質信息網絡中節點信息的分類處理及后續應用，

其中，對所述網絡表征學習模型進行的所述表征學習訓練的具體步驟為：

訓練數據集準備步驟，選取一個所述學術信息網站作為訓練數據集，通過從該網站獲取的論文和會議的節點信息，生成一個所述異質信息網絡輸入到所述網絡表征學習模型，輸入的所述異質信息網絡使用鄰接矩陣表示，包括作者與論文的鄰接矩陣、主題與論文的鄰接矩陣、論文與會議的鄰接矩陣；

層次搜索步驟，根據輸入的所述異質信息網絡的網絡模式和目標節點類型即作者節點以及預令的最大搜索深度來生成候選的元結構集合，根據層次搜索算法將所述元結構集合中的元結構進行對稱補齊；其中，所述元結構集合包括作者節點與相關節點構成的子圖；

計算矩陣步驟，將所述元結構分為單條路徑元結構和多條路徑元結構，分別通過單路徑算法和多路徑算法獲得所述單條路徑元結構和所述多條路徑元結構各自對應的鄰接矩陣，對所述鄰接矩陣進行平衡鏈接重要性后獲取矩陣元素；

鄰居信息聚合步驟，基于所述元結構計算得到注意力系數，使用多頭注意力機制算法，基于所述矩陣元素和所述注意力系數計算所有所述元結構的輸出特征，對所有所述元結構使用轉換矩陣進行轉換，并將所有所述轉換矩陣的結果加和作為最終節點；

計算交叉熵損失和梯度回傳，通過交叉熵計算公式獲得基于所述最終節點的交叉熵損失，通過梯度反向傳播算法進行多輪的參數迭代直到所述交叉熵損失收斂，即將多個所述作者節點與所述訓練數據集中多個作者的節點信息做比對，比對結果在誤差范圍內，完成對所述網絡表征學習模型的所述表征學習訓練。

2.根據權利要求1所述的一種基于元結構和圖神經網絡的網絡表征學習方法，其特征在于：

其中，所述層次搜索算法為：

將所述元結構集合分為元結構候選集合和元結構搜索集合，將所述元結構候選集合設為空，將單獨由所述目標節點類型構的圖命名為目標節點圖，

由所述目標節點類型開始，設置搜索層數為i設置為1，在所述元結構搜索集合中將所有所述目標節點圖移除，搜索與所述目標節點類型距離為i的相關集合，將所述相關集合中的所有非空子集與所述目標節點圖中的節點合并，合并結果為N子圖，將所述N子圖分別添加到所述元結構候選集合和所述元結構搜索集合，然后將所述搜索層數i設置為i+1，重復此過程直至i＝所述最大搜索深度，

根據對稱性將候選元結構集合中的元結構進行補齊。

3.根據權利要求1所述的一種基于元結構和圖神經網絡的網絡表征學習方法，其特征在于：

其中，所述單路徑算法為：

所述多路徑算法為：

所述平衡鏈接重要性的計算過程為：

式中M^P為所述單條路徑元結構的所述鄰接矩陣，M^M3為所述多條路徑元結構的鄰接矩陣，A_TiTj為節點類型T_i和節點類型T_j間的鄰接矩陣，A_AP、A_PA為作者與論文的鄰接矩陣，A_PC、A_CP為論文與會議的鄰接矩陣，A_TP、A_PT為主題與論文的鄰接矩陣,為所述矩陣元素。