[發明專利]圖神經網絡模型的訓練方法及裝置

有效

• 申請號: 202110291393.6
• 申請日: 2021-03-18
• 公開（公告）號: CN113139654B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 楊玉基;張夢迪;張富崢
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/042;G06F18/22
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本公開提供了一種圖神經網絡模型的訓練方法及裝置。所述方法包括：根據網絡節點和網絡節點的歷史交互數據，構建節點交互圖；根據圖節點之間的連接邊權重，計算任意兩個網絡節點的節點相似度；根據節點相似度和網絡節點構建訓練樣本圖；對訓練樣本圖進行采樣處理得到多個樣本子圖；獲取樣本子圖的負樣本節點和多階鄰居節點；根據樣本子圖、負樣本節點和多階鄰居節點對初始圖神經網絡模型進行訓練，得到損失值；在損失值處于預設范圍內的情況下，將訓練后的初始圖神經網絡模型作為目標圖神經網絡模型。本公開可以在保證生成節點向量的可解釋性的同時，提高生成的節點向量的質量。

技術領域

本公開的實施例涉及模型訓練技術領域，尤其涉及一種圖神經網絡模型的訓練方法及裝置。

背景技術

Embedding(嵌入)技術的主要目的是使機器學習到詞語的分布式表示，從而達到將詞語空間降維的目的。embedding的概念逐漸被擴展到其他領域，已經成為許多應用和業務(如搜索推薦等)的基礎組成部分。

隨著高效向量檢索技術的成熟，embedding在搜索推薦等應用中扮演著越來越重要的角色。現有的embedding生成技術主要分為以下幾類：

1、基于序列模型，將原始數據構造成多個item(如商家、商品等)的序列，上下文越相似的item，生成的embedding越相似；

2、基于協同過濾，將user(用戶)和item按照點擊關系建立二部圖矩陣，矩陣分解后，得到user和item的embedding，在二部圖中鄰居越相似的節點的embedding越相似；

3、基于雙塔模型，將user側和item側所有特征分別作為兩個輸入，分別經過多個非線性層進行特征抽取后，得到user和item的向量vu和vi。訓練過程中將vu和vi的余弦距離和正例負例標簽之間的差值作為損失函數。

在上述生成embedding的方法中，協同過濾和序列模型的方式，由于交互行為分布十分不均衡，熱門item的學習到的embedding較好，冷門item學習到的embedding效果則較差，而往往冷門item的數量占比較大，從而限制了線上效果。而雙塔模型則無法清晰的解釋這兩個item(如A和B)相似度的相比于另外兩個item(如A和C)的相似度更大，可解釋性較差。

發明內容

本公開的實施例提供一種圖神經網絡模型的訓練方法及裝置，用以在保證生成節點向量的可解釋性的同時，提高生成的節點向量的質量，從而提升下游相似性等任務的效果。

根據本公開的實施例的第一方面，提供了一種圖神經網絡模型的訓練方法，包括：

根據網絡節點和所述網絡節點對應的歷史交互數據，構建節點交互圖；所述節點交互圖中以所述網絡節點和所述網絡節點對應的用戶作為圖節點；

根據所述圖節點之間的連接邊權重，計算所述節點交互圖中任意兩個所述網絡節點之間的節點相似度；

根據所述節點相似度和所述網絡節點，構建得到訓練樣本圖；

對所述訓練樣本圖進行采樣處理，得到多個以所述網絡節點為主節點的樣本子圖；

獲取所述樣本子圖對應的負樣本節點和多階鄰居節點；

根據所述樣本子圖、所述負樣本節點和所述多階鄰居節點對初始圖神經網絡模型進行訓練，得到所述初始圖神經網絡模型的損失值；

在所述損失值處于預設范圍內的情況下，將訓練后的初始圖神經網絡模型作為目標圖神經網絡模型；