[發明專利]基于迭代知識蒸餾的異質圖神經網絡模型構建方法

在審

• 申請號: 202111008342.4
• 申請日: 2021-08-31
• 公開（公告）號: CN113723608A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 楊成;公緒蒙
• 申請（專利權）人: 昆山清社網絡科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 蘇州周智專利代理事務所(特殊普通合伙) 32312
• 代理人: 楊月芳

本發明公開了一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，包括標簽傳播模型和特征聚合?轉換模型構成學生模型；標簽傳播模型對不同的元路徑分別進行初始化；初始化后對節點的初始概率分布計算；根據已知信息網絡中不同的節點類型，對圖數據中給出的節點特征進行映射到統一的特征空間內；聚合目標節點直接鄰居的節點信息并變換為無標簽節點的軟標簽預測；將每個節點的嵌入變換為無標簽點集的軟標簽的預測；將兩個模型進行結合得到學生模型對每個節點的軟預測，得出預測結果。本發明能夠通過異質信息網絡中的元路徑和網絡模式兩種結構改善HGNN無法有效建模異質信息網絡中的低階語義信息和全局語義信息的缺點，以提升HGNN分類器的效果。

技術領域

本發明屬于計算機技術領域，特別是涉及一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法。

背景技術

知識蒸餾在計算機視覺領域開始用于模型壓縮，目的是將訓練好的大型網絡教師模型的知識(軟預測)提取到一個輕量級網絡學生模型中，使輕量級的學生模型獲得和大型的教師模型相似的效果。

圖神經網絡(Graph neural networks，簡稱GNN)本身由于過平滑問題具有層數不多并且相比于卷積神經網絡(CNN)參數量不多的特點，目前的一些將知識蒸餾與圖神經網絡結合在一起進行應用的方法很多都注重提升模型效果而非模型壓縮，比如圖馬爾可夫神經網絡(Graph Markov Neural Networks，簡稱GMNN)，通過設計兩個不同的圖卷積神經網絡(Graph convolutional network，簡稱GCN)，兩個GCN根據迭代算法(E-M算法)框架進行迭代蒸餾的方法提升模型效果，其中第二個GCN的輸入特征為第一個GCN的輸出標簽結果，這些方法在同質網絡的節點分類任務上取得了較大的提升，但在異質網絡上效果不理想。

異質信息網絡(Heterogeneous Information Networks，簡稱HIN)擁有比同質信息網絡更多的節點類型與更復雜的結構，目前的方法通過一些高級結構來處理異質信息網絡中復雜的信息，比如元路徑(meta-path)和網絡模式(network scheme)。

異質圖神經網絡(Heterogeneous graph neural networks，簡稱HGNN)致力于通過不同的方法建模HIN中的復雜結構與節點信息，比如異質圖注意力網絡(HeterogeneousGraph Attention Network，簡稱HAN)，設計了基于元路徑的注意力機制，以此構建網絡模型；關系圖卷積網絡(Relational Graph Convolutional Network)則沒有采用元路徑等高級結構，而是采用了特定關系(relation-specific)的轉換，對圖中節點在不同關系下的鄰居進行基于關系的線性轉換后再進行消息傳遞。

現有的異質圖神經網絡都依賴于采用不同的方法對異質信息網絡中的多類型的節點和復雜的關系進行建模，當采用基于關系的方法建模異質節點關系時(如R-GCN)，模型會僅注重于節點周圍低階鄰居的信息，而忽略了高階鄰居的信息；當采用基于元路徑等高階結構的方法建模異質關系時(如HAN)，模型又會忽視節點的直接鄰居的低階語義信息(local information)，并且由于過平滑問題對GNN層數的限制，使GNN也無法獲取圖上遠處的節點信息，無法有效建模異質圖上全局的信息(global information)。

發明內容

本發明主要解決的技術問題是提供一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，能夠通過異質信息網絡中的元路徑和網絡模式兩種結構改善HGNN無法有效建模異質信息網絡中的低階語義信息和全局語義信息的缺點，并能在標簽較少的情況下達到提升HGNN分類器的效果。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，包括：

給定異質信息網絡；

預先定義該異質信息網絡的元路徑集合；