[發明專利]圖神經網絡的訓練方法及裝置

在審

• 申請號: 202210440602.3
• 申請日: 2022-04-25
• 公開（公告）號: CN114707644A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 胡斌斌;劉洪瑞;張志強;石川;王嘯;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司;北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06F16/28
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種圖神經網絡的訓練方法，涉及基于用戶關系圖譜對圖神經網絡進行多輪次迭代更新，其中任一輪次包括：利用當前圖神經網絡對所述用戶關系圖譜進行處理，得到與該用戶關系圖譜中多個用戶節點對應的多個分類預測向量；基于所述多個分類預測向量，為所述多個用戶節點中第一數量的未標注節點分配對應的偽分類標簽；針對所述第一數量的未標注節點中的各個未標注節點，確定利用其訓練所述當前圖神經網絡而產生的信息增益；根據與所述多個用戶節點中各個標注節點對應的分類預測向量和真實分類標簽，以及與所述各個未標注節點對應的分類預測向量、偽分類標簽和信息增益，更新所述當前圖神經網絡中的模型參數。

技術領域

本說明書一個或多個實施例涉及機器學習技術領域，尤其涉及一種圖神經網絡的訓練方法及裝置。

背景技術

關系網絡圖是對現實世界中實體之間的關系的描述，目前被廣泛應用于各種業務處理中，如社交網絡分析、化學鍵預測等。圖神經網絡(Graph Neural Networks，簡稱GNN)適用于處理關系網絡圖上的各種任務，然而，GNN的性能在很大程度上依賴標注數據的數量，通常，GNN的性能會隨著標注數據的減少而迅速下降。

因此，需要一種方案，能夠突破GNN訓練時標注數據不足的限制，得到性能優異的GNN模型，從而有效提升業務處理結果的準確度。

發明內容

本說明書一個或多個實施例描述了一種圖神經網絡的訓練方法及裝置，利用未標注數據擴充標注數據，并引入信息增益縮小原始標注數據分布與擴充后標注數據分布所對應訓練損失之間的差異，從而有效提升GNN模型的訓練效果。

根據第一方面，提供一種圖神經網絡的訓練方法，涉及基于用戶關系圖譜對圖神經網絡進行多輪次迭代更新，其中任一輪次包括：利用當前圖神經網絡對所述用戶關系圖譜進行處理，得到與該用戶關系圖譜中多個用戶節點對應的多個分類預測向量；基于所述多個分類預測向量，為所述多個用戶節點中第一數量的未標注節點分配對應的偽分類標簽；針對所述第一數量的未標注節點中的各個未標注節點，確定利用其訓練所述當前圖神經網絡而產生的信息增益；根據與所述多個用戶節點中各個標注節點對應的分類預測向量和真實分類標簽，以及與所述各個未標注節點對應的分類預測向量、偽分類標簽和信息增益，更新所述當前圖神經網絡中的模型參數。

在一個實施例中，所述多個用戶節點中包括第二數量的未標注節點，各個分類預測向量中包括與多個類別對應的多個預測概率；其中，基于所述多個分類預測向量，為所述多個用戶節點中第一數量的未標注節點分配對應的偽分類標簽，包括：針對所述第二數量的未標注節點中的各個節點，若其所對應分類預測向量中包含的最大預測概率達到預設標準，則將該節點歸入所述第一數量的未標注節點，并將該最大預測概率所對應的類別確定為該節點的偽分類標簽。

在一個實施例中，針對所述第一數量的未標注節點中的各個未標注節點，確定利用其訓練所述當前圖神經網絡而產生的信息增益，包括：針對任意的第一未標注節點，利用其對應的第一分類預測向量和偽分類標簽，訓練所述當前圖神經網絡，并基于訓練出的第一圖神經網絡確定該第一未標注節點的第二分類預測向量；根據所述第一分類預測向量，確定第一信息熵；根據所述第二分類預測向量，確定第二信息熵；基于所述第二信息熵與所述第一信息熵的差值，得到所述信息增益。

在一個具體的實施例中，所述第一圖神經網絡包括多個聚合層和輸出層；其中，基于訓練出的第一圖神經網絡確定該第一未標注節點的第二分類預測向量，包括：在所述多個聚合層中的某個聚合層，對上一聚合層輸出的針對所述多個用戶節點的多個聚合向量中的向量元素進行隨機置零處理，并且，基于所述隨機置零處理后的多個聚合向量，確定本聚合層針對所述多個用戶節點輸出的多個聚合向量；在所述輸出層，對最后一個聚合層針對所述第一未標注用戶節點輸出的聚合向量進行處理，得到所述第二分類預測向量。