[發明專利]圖神經網絡模型訓練方法、裝置及系統

有效

• 申請號: 202010096248.8
• 申請日: 2020-02-17
• 公開（公告）號: CN110929870B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳超超;王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝;劉景峰

本說明書實施例提供用于經由多個數據擁有方來訓練圖神經網絡模型的方法及裝置。在該方法中，圖神經網絡模型被分割為判別模型以及多個圖神經網絡子模型。在進行模型訓練時，各個數據擁有方將各自的特征數據子集提供給各自的圖神經網絡子模型，以得到各個節點的特征向量表示。各個數據擁有方從服務端接收判別模型，并使用各個節點的特征向量表示來得到各個節點的當前預測標簽值，由此計算出各個數據擁有方處的當前損失函數，并基于當前損失函數來確定出判別模型的梯度信息以及更新各自的圖神經網絡子模型。各個數據擁有方將各自的梯度信息提供給服務端，以供服務端來更新判別模型。利用該方法，能夠保證各個數據擁有方處的私有數據的數據安全。

技術領域

本說明書實施例通常涉及機器學習領域，尤其涉及用于使用水平切分的特征數據集來經由多個數據擁有方協同訓練圖神經網絡模型的方法、裝置及系統。

背景技術

圖神經網絡模型是機器學習領域廣泛使用的機器學習模型。在很多情況下，多個模型訓練參與方（例如，電子商務公司、快遞公司和銀行）各自擁有訓練圖神經網絡模型所使用的特征數據的不同部分數據。該多個模型訓練參與方通常想共同使用彼此的數據來統一訓練圖神經網絡模型，但又不想把各自的數據提供給其它各個模型訓練參與方以防止自己的數據被泄露。

面對這種情況，提出了能夠保護隱私數據安全的圖神經網絡模型訓練方法，其能夠在保證多個模型訓練參與方的各自數據安全的情況下，協同該多個模型訓練參與方來訓練圖神經網絡模型，以供該多個模型訓練參與方使用。

發明內容

鑒于上述問題，本說明書實施例提供了一種用于經由多個數據擁有方協同訓練圖神經網絡模型的方法、裝置及系統，其能夠在保證多個數據擁有方的各自數據安全的情況下實現圖神經網絡模型訓練。

根據本說明書實施例的一個方面，提供一種用于經由多個數據擁有方來訓練圖神經網絡模型的方法，所述圖神經網絡模型包括位于服務端的判別模型以及位于各個數據擁有方處的圖神經網絡子模型，每個數據擁有方具有通過對用于模型訓練的訓練樣本集進行水平切分而獲得的訓練樣本子集，所述訓練樣本子集包括特征數據子集以及真實標簽值，所述方法由數據擁有方執行，所述方法包括：執行下述循環過程，直到滿足循環結束條件：將當前特征數據子集提供給所述數據擁有方處的當前圖神經網絡子模型，以得到所述當前圖神經網絡子模型的各個節點的特征向量表示；從服務端獲取當前判別模型；將各個節點的特征向量表示提供給所述當前判別模型，以得到各個節點的當前預測標簽值；根據各個節點的當前預測標簽值以及對應的真實標簽值，確定當前損失函數；在不滿足循環結束條件時，基于當前損失函數，確定所述當前判別模型的梯度信息并且更新當前圖神經網絡子模型的模型參數；以及將所述當前判別模型的梯度信息提供給所述服務端，所述服務端使用來自于各個數據擁有方的所述當前判別模型的梯度信息來更新所述服務端處的判別模型，其中，在未滿足所述循環結束條件時，所述更新后的各個數據擁有方的圖神經網絡子模型和所述服務端處的判別模型用作下一循環過程的當前模型。

可選地，在上述方面的一個示例中，各個數據擁有方處得到的梯度信息可以通過安全聚合的方式提供給所述服務端。

可選地，在上述方面的一個示例中，所述安全聚合可以包括：基于秘密共享的安全聚合；基于同態加密的安全聚合；或者基于可信執行環境的安全聚合。

可選地，在上述方面的一個示例中，在每次循環過程中，所述方法還可以包括：獲取當前訓練樣本子集。

可選地，在上述方面的一個示例中，所述循環結束條件可以包括：預定循環次數；所述判別模型的各個模型參數的變化量不大于預定閾值；或者當前總損失函數位于預定范圍內。

可選地，在上述方面的一個示例中，所述特征數據可以包括基于圖像數據、語音數據或文本數據的特征數據，或者所述特征數據可以包括用戶特征數據。