[發明專利]一種基于拓撲感知文本表征的網絡嵌入學習方法

有效

• 申請號: 202110287783.6
• 申請日: 2021-03-17
• 公開（公告）號: CN113111224B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 蘇勤亮;陳佳星
• 申請（專利權）人: 中山大學
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906;G06F16/34;G06N3/042
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明提供一種基于拓撲感知文本表征的網絡嵌入學習方法，該方法利用結點的局部拓撲結構信息，自適應地生成拓撲感知濾波器，并用于文本表征的學習，從而得到拓撲感知的文本表征，更有效地將拓撲結構信息融入到文本表征的挖掘中；此外，本方法可以與現有的基于上下文感知的網絡嵌入模型相結合，適用面更廣，并且在鏈接預測、結點分類任務上取得了性能提升，體現了本方法學習到的網絡結點表征的有效性。

技術領域

本發明涉及網絡嵌入方法領域，更具體地，涉及一種基于拓撲感知文本表征的網絡嵌入學習方法。

背景技術

在現實世界中，具有網絡結構的數據十分常見，例如，基于微博、微信等平臺的社交網絡、論文引用網絡等。這些網絡中往往蘊含著海量的信息，合理有效地挖掘這些信息對一些下游任務的應用非常有益，例如電商系統中的商品推薦、相關論文推薦等。在信息量爆炸式增長的當今時代，這些網絡通常都包含大量的結點和邊、規模十分龐大，直接對網絡進行處理需要大量的時間和存儲空間、計算效率很低。因此，研究如何高效地挖掘網絡中的有用信息具有重要意義。

在眾多網絡研究方法中，網絡嵌入是一種應用廣泛并且取得了較好效果的方法，網絡嵌入也叫網絡表征學習、圖嵌入。網絡嵌入的目標是為網絡中的每個結點學習一個低維表征，使得這個低維表征盡可能地保留了該結點的重要信息。學習到結點表征后，我們只需要對這些低維表征進行處理就能利用網絡中豐富的信息，而不需要對原始的網絡進行處理，這樣可以極大地提高計算效率。

傳統的網絡嵌入主要被看成一個降維的過程，主要的降維方法有主成分分析、多維縮放。后來，其他方法如局部線性嵌入被提出，用于保持非線性流型的全局結構。這些方法在小的網絡上都能取得不錯的效果，但是由于算法的復雜度較高，它們并不適用于大型的網絡。

目前，已經有許多網絡嵌入的算法被提出來，這些算法主要利用到的信息有三大類：網絡結構信息、結點屬性信息和結點標簽信息。網絡結構信息是指根據網絡的拓撲結構處理獲得的信息，例如網絡結點直接的鄰接關系；結點屬性信息是指網絡中結點本身具有的一些特性和內容，例如社交網絡中每個用戶的性別、年齡、好友數量等，論文引用網絡中每篇論文的關鍵詞、論文文本等；結點標簽信息是指按照某種標準將網絡中所有結點分為幾大類，每個結點所在的類別信息。

發明內容

本發明提供一種基于拓撲感知文本表征的網絡嵌入學習方法，該方法使得網絡結點的表征包含更豐富的信息。

為了達到上述技術效果，本發明的技術方案如下：

一種基于拓撲感知文本表征的網絡嵌入學習方法，包括以下步驟：

S1：使用圖神經網絡提取文本網絡中結點的局部拓撲結構信息，獲取所有結點的拓撲結構表征；

S2：將S1得到的結點的拓撲結構表征輸入到濾波器生成模塊，生成拓撲感知的濾波器，并將得到的拓撲感知濾波器和文本輸入到卷積神經網絡模塊中，生成拓撲感知的文本表征；

S3：通過已有的網絡嵌入模型獲取上下文感知的文本表征，與S2中得到的拓撲感知的文本表征結合起來，得到網絡結點最終的文本表征；將拓撲結構表征和文本表征結合起來，得到最終的網絡結點表征。

進一步地，所述步驟S1的具體過程是：

首先為網絡中的每個結點隨機初始化一個拓撲結構表征，結點的初始結構表征用表示，根據輸入的網絡的鄰接矩陣，從結點的所有鄰居結點中隨機采樣出多跳鄰居，每一跳的鄰居數量是固定的，對結點采樣跳的鄰居后，獲得關于結點的局部拓撲圖；

采樣得到結點的局部拓撲圖后，再利用圖神經網絡一層一層地由外往內學習結點的結構表征，如公式（1）（2）：

其中，是圖神經網絡的參數；表示第個結點在層的鄰居；用于將所有鄰居結點的向量表征聚集起來，構成一個矩陣；是激活函數；；