[發明專利]一種基于遷移學習和深度學習融合的半監督圖表示學習方法及裝置

在審

• 申請號: 202110261429.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112990295A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 劉冰;馬永征;李洪濤;楊學
• 申請（專利權）人: 中國互聯網絡信息中心
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于遷移學習和深度學習融合的半監督圖表示學習方法及裝置。本發明通過全局層面和局部層面的兩個子任務預訓練圖神經網絡模型，以從未標注的數據中學習輸入數據的通用表征；將預訓練的圖神經網絡模型遷移到目標任務的訓練過程中，在預訓練的圖神經網絡模型之后添加一個與目標任務相關的輸出層，并利用有標簽數據對預訓練的圖神經網絡模型的參數進行微調，得到最終的圖神經網絡模型。本發明在節省人工標記成本的基礎上有效結合無標簽數據和有標簽數據，提升了模型的泛化能力，能夠簡化目標任務的訓練過程，達到更快收斂的目的；本發明充分利用了遷移學習的思想，能夠節省大量的計算資源和計算時間，提高計算效率。

技術領域

本發明屬于信息技術領域，具體涉及一種基于遷移學習和深度學習融合的半監督圖表示學習方法及裝置。

背景技術

隨著互聯網技術的發展，社交網絡、論文引用網絡、交通網絡等各領域大型復雜網絡已經以圖數據的形式滲透到現實生活的方方面面，與此同時也出現了各種各樣繁雜的圖挖掘任務，如節點分類、異常檢測、鏈路預測、標簽推薦等等。然而，依賴于啟發式模型提取圖結構信息的傳統機器學習特征編碼方式，在應對這些復雜場景數據分析時面臨了前所未有的挑戰。近年來，使用基于深度學習的圖表示學習方法得到了廣泛關注，其基本思想是將圖結構數據編碼為低維嵌入，將節點映射到一個稠密而低維的向量空間中，并在映射過程中盡量保留網絡信息和節點間的相似性特征，以解決復雜圖數據的高維度、稀疏性等問題。

目前，常用的圖表示學習方法主要包括：1)基于譜方法的圖表示學習，例如非線性降維算法、基于流形假設的拉普拉斯特征映射算法等。然而該類方法只利用了圖的網絡信息，學習到的圖表示質量不高；2)基于最優化的圖表示學習，即通過優化一個明確的目標函數從而學到圖的低維表示，這類方法通常都是基于領域相關的方法，可擴展性差，需要為不同的圖挖掘任務單獨設計目標函數；3)基于深度學習的圖表示學習方法，如DeepWalk算法、Node2vec算法等，在許多圖表示學習任務中表現出了顯著效果，然而卻需要大量的人工標注數據。

發明內容

本發明針對上述問題，提供一種基于遷移學習和深度學習融合的半監督圖表示學習方法及裝置。

本發明采用的技術方案如下：

一種基于遷移學習和深度學習融合的半監督圖表示學習方法，包括以下步驟：

通過全局層面和局部層面的兩個子任務預訓練圖神經網絡模型，以從未標注的數據中學習輸入數據的通用表征；

將預訓練的圖神經網絡模型遷移到目標任務的訓練過程中，在預訓練的圖神經網絡模型之后添加一個與目標任務相關的輸出層，并利用有標簽數據對預訓練的圖神經網絡模型的參數進行微調，得到最終的圖神經網絡模型。

進一步地，所述全局層面和局部層面的兩個子任務，包括：

中心性評估子任務，用以獲得反映各節點在全局中重要性的圖節點嵌入表示；

上下文預測子任務，用以將具有相似鄰域的節點映射到相近的嵌入表示空間中，使學習到的節點嵌入表示能夠捕獲其鄰域信息。

進一步地，所述中心性評估子任務對輸入的原始圖中每個節點從不同粒度評估每個節點的中心性得分，構成輸入節點的本地特征向量，并訓練圖自編碼器模型，根據節點位于圖中的結構角色來衡量節點在全局網絡中的重要性，以學習到圖中每個節點在全局中起到的作用，獲得圖節點嵌入表示提供給下游目標任務。

進一步地，所述中心性評估子任務對輸入的原始圖中每個節點計算特征向量中心性、介數中心性、緊密中心性和度中心性，從四個不同粒度評估每個節點的中心性得分。

進一步地，所述上下文預測子任務在全局網絡圖中使用上下文子圖來預測各節點為中心的局部圖結構，并利用圖自編碼器進行預訓練，分別采用節點的k-hop子結構和對應的上下文子特征對節點編碼，將出現在相似結構上下文中的節點映射到鄰近的嵌入，將上下文編碼成固定向量。