[發明專利]基于迭代知識蒸餾的異質圖神經網絡模型構建方法

在審

• 申請號: 202111008342.4
• 申請日: 2021-08-31
• 公開（公告）號: CN113723608A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 楊成;公緒蒙
• 申請（專利權）人: 昆山清社網絡科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 蘇州周智專利代理事務所(特殊普通合伙) 32312
• 代理人: 楊月芳

1.一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：

給定異質信息網絡；

預先定義該異質信息網絡中的元路徑集合；

以HGNN模型作為教師模型進行預訓練；

預訓練得到了HGNN的預測結果以軟標簽的形式作為學生模型的目標；

以基于元路徑的標簽傳播模型和基于網絡模式的特征聚合-轉換模型構成學生模型；

基于異質圖數據中給出的元路徑集合，對異質圖數據進行預處理得到基于元路徑的圖鄰接矩陣；

所述標簽傳播模型對不同的元路徑分別進行初始化；

初始化的所述標簽傳播模型中節點的初始概率分布計算；

進行N次標簽傳播后，計算節點標簽的概率分布；

根據已知信息網絡中不同的節點類型，對圖數據中給出的節點特征進行對應的映射，使不同類型的節點特征映射到統一的特征空間內；

聚合目標節點直接鄰居的節點信息，將聚合后的節點特征變換為無標簽節點的軟標簽預測；

對所有節點進行轉換運算，將每個節點的嵌入變換為無標簽點集的軟標簽的預測；

將所述標簽傳播模型和所述特征聚合-轉換模型進行結合得到所述學生模型對每個節點的軟預測，得出預測結果。

2.根據權利要求1所述的一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：所述標簽傳播模型的初始化函數為：

其中，∈為屬于，為實數集合，Y為標簽集合，|.|為集合的基數，為任意，V_L為有標簽節點集合，V為所有節點，L為有標簽，V_U為無標簽節點集合，U為無標簽，指元路徑φ∈Φ下初始化節點v的標簽概率分布，對于節點v∈V_L以節點正確標簽的one-hot向量初始化節點標簽概率分布，對于v∈V_U，以均勻分布初始化節點標簽的概率分布。

3.根據權利要求2所述的一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：所述標簽傳播模型中節點的初始概率分布的函數為：

其中，為第k次標簽傳播后元路徑φ下節點v的標簽概率分布，Σ為求和符號，為節點v在元路徑φ的鄰居節點集合，即節點v在上述鄰接矩陣A_φ下的鄰居，為標簽傳播時可學習的邊權，所述邊為節點u和節點v間的元路徑φ的實例，標簽傳播算法一開始對于每個節點v以均勻分布初始化權重為第k-1次標簽傳播后節點u的標簽分布。

4.根據權利要求3所述的一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：所述標簽傳播模型的節點標簽的概率分布的函數為：

其中，f_LP(v)指標簽傳播模型的最后輸出，為節點v在元路徑φ∈Φ下的標簽傳播的結果，為節點v在元路徑φ∈Φ下標簽傳播得到的標簽概率分布的歸一化注意力權重。

5.根據權利要求1所述的一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：所述特征聚合-轉換模型中節點特征映射函數為：

其中，W_t為節點類型為t的特征映射參數矩陣，V_t為節點類型為t的節點集合，x_v為節點v在所述圖數據中給出的節點特征，h_v為節點v映射到統一空間后的特征向量。

6.根據權利要求5所述的一種基于迭代知識蒸餾的異質圖神經網絡模型構建方法，其特征在于：所述特征聚合-轉換模型中聚合目標節點直接鄰居的節點特征函數為：

其中，為節點v類型為T的鄰居集合，T為目標節點v的直接鄰居的類型集合，Cat為連接運算符，h_v，h_u分別為所述節點v，u進行特征映射后的節點特征，z_v為聚合目標節點v及其鄰居的信息后的節點嵌入。