[發明專利]圖神經網絡訓練方法、系統、計算機設備及存儲介質

有效

• 申請號: 202110602892.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113222143B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 李登昊;王健宗;黃章成
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06F16/2455;G06F21/62
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種圖神經網絡訓練方法，其特征在于，應用在圖神經網絡訓練系統中，所述圖神經網絡訓練系統包括多個用戶端以及一個訓練端；所述圖神經網絡訓練方法包括：

通過所述訓練端初始化圖神經網絡的網絡參數；其中，所述網絡參數包括用戶節點對應的第一特征、全局推薦項目對應的第二特征以及所述用戶節點與對應的目標推薦項目之間的連接權值；所述目標推薦項目為所述全局推薦項目中與所述用戶節點具有連接關系的推薦項目；所述第二特征包括目標推薦項目對應的目標特征以及非目標推薦項目對應的非目標特征；

通過所述訓練端將所述網絡參數發送至與所述用戶節點對應的用戶端，以使所述用戶端根據所述網絡參數和預先構建的本地子圖訓練本地的圖神經網絡，得到真實梯度；其中，所述真實梯度包括所述第一特征、所述目標特征以及所述連接權值對應的真實梯度；

通過所述用戶端生成所述非目標特征的隨機偽梯度，并將所述隨機偽梯度與所述真實梯度作為所述用戶端對應的局部梯度發送至所述訓練端；

通過所述訓練端對接收到的各用戶端發送的所述局部梯度進行梯度聚合，得到所述網絡參數對應的聚合梯度，并將所述聚合梯度返回至對應的用戶端，以使用戶端根據所述聚合梯度更新本地的圖神經網絡。

2.如權利要求1所述圖神經網絡訓練方法，其特征在于，所述目標推薦項對應一真實標注值；所述通過所述用戶端根據所述網絡參數和預先構建的本地子圖訓練本地的圖神經網絡，得到真實梯度，包括：

基于所述網絡參數初始化所述圖神經網絡；

將所述本地子圖輸入至所述圖神經網絡進行預測，得到所述圖神經網絡輸出的預測結果；

根據所述預測結果以及所述真實標注值，計算網絡損失；

根據所述網絡損失，計算所述真實梯度。

3.如權利要求2所述圖神經網絡訓練方法，其特征在于，所述根據所述預測結果以及所述真實標注值，計算網絡損失，包括：

若所述圖神經網絡的預測任務為分類任務，則調用交叉熵損失函數，根據所述預測結果以及所述真實標注值，計算網絡損失；

若所述圖神經網絡的預測任務為回歸任務，則調用均方誤差損失函數，根據所述預測結果以及所述真實標注值，計算網絡損失。

4.如權利要求3所述圖神經網絡訓練方法，其特征在于，所述根據所述網絡損失，計算所述真實梯度，包括：

根據所述網絡損失以及所述第一特征，計算所述第一特征對應的真實梯度；

根據所述網絡損失以及所述連接權值，計算所述連接權值對應的真實梯度；

根據所述網絡損失以及所述目標特征，計算所述目標特征對應的真實梯度。

5.如權利要求4所述圖神經網絡訓練方法，其特征在于，所述通過所述用戶端生成所述非目標特征的隨機偽梯度，包括：

根據隨機函數，生成一組零均值的隨機數；

將所述零均值的隨機數作為所述非目標特征對應的隨機偽梯度。

6.如權利要求5所述圖神經網絡訓練方法，其特征在于，所述通過所述訓練端對接收到的各用戶端發送的所述局部梯度進行梯度聚合，得到聚合梯度，包括：

對所述各用戶端發送的局部梯度進行累加處理，以將得到的累加結果作為所述聚合梯度；或者

對所述各用戶端發送的局部梯度進行取平均處理，以將得到的平均值作為所述聚合梯度。

7.如權利要求2所述圖神經網絡訓練方法，其特征在于，所述本地子圖包括用戶節點以及與所述用戶節點具有連接關系的目標推薦項目；所述將所述本地子圖輸入至所述圖神經網絡進行預測，得到所述圖神經網絡輸出的預測結果，包括：

基于所述連接權值，對所述用戶節點以及所述目標推薦項目進行聚合更新，得到所述用戶節點對應的第一聚合特征以及所述目標推薦項目對應的第二聚合特征；

計算所述第一聚合特征以及所述第二聚合特征間的相似度，得到所述圖神經網絡輸出的預測結果。