[發明專利]圖神經網絡模型訓練方法、裝置及系統

有效

• 申請號: 202010096248.8
• 申請日: 2020-02-17
• 公開（公告）號: CN110929870B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳超超;王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝;劉景峰

1.一種用于經由多個數據擁有方來訓練圖神經網絡模型的方法，所述圖神經網絡模型包括位于服務端的判別模型以及位于各個數據擁有方處的圖神經網絡子模型，每個數據擁有方具有通過對用于模型訓練的訓練樣本集進行水平切分而獲得的訓練樣本子集，所述訓練樣本子集包括特征數據子集以及真實標簽值，所述方法由數據擁有方執行，所述方法包括：

執行下述循環過程，直到滿足循環結束條件：

將當前特征數據子集提供給所述數據擁有方處的當前圖神經網絡子模型，以得到所述當前圖神經網絡子模型的各個節點的特征向量表示；

從服務端獲取當前判別模型；

將各個節點的特征向量表示提供給所述當前判別模型，以得到各個節點的當前預測標簽值；

根據各個節點的當前預測標簽值以及對應的真實標簽值，確定當前損失函數；

在不滿足循環結束條件時，

基于所述當前損失函數確定所述當前判別模型的梯度信息，并且基于所述當前損失函數更新當前圖神經網絡子模型的模型參數；以及

將所述當前判別模型的梯度信息提供給所述服務端，所述服務端使用來自于各個數據擁有方的所述當前判別模型的梯度信息來更新所述服務端處的判別模型，其中，在未滿足所述循環結束條件時，所述更新后的各個數據擁有方的圖神經網絡子模型和所述服務端處的判別模型用作下一循環過程的當前模型。

2.如權利要求1所述的方法，其中，各個數據擁有方處得到的梯度信息通過安全聚合的方式提供給所述服務端。

3.如權利要求2所述的方法，其中，所述安全聚合包括：

基于秘密共享的安全聚合；

基于同態加密的安全聚合；或者

基于可信執行環境的安全聚合。

4.如權利要求1所述的方法，其中，在每次循環過程中，所述方法還包括：

獲取當前訓練樣本子集。

5.如權利要求1到4中任一所述的方法，其中，所述循環結束條件包括：

預定循環次數；

所述判別模型的各個模型參數的變化量不大于預定閾值；或者

當前總損失函數位于預定范圍內。

6.如權利要求1到4中任一所述的方法，其中，所述特征數據包括基于圖像數據、語音數據或文本數據的特征數據，或者所述特征數據包括用戶特征數據。

7.一種用于經由多個數據擁有方來訓練圖神經網絡模型的方法，所述圖神經網絡模型包括位于服務端的判別模型以及位于各個數據擁有方處的圖神經網絡子模型，每個數據擁有方具有通過對用于模型訓練的訓練樣本集進行水平切分而獲得的訓練樣本子集，所述訓練樣本子集包括特征數據子集以及真實標簽值，所述方法由服務端執行，所述方法包括：

執行下述循環過程，直到滿足循環結束條件：

將當前判別模型提供給各個數據擁有方，各個數據擁有方將當前圖神經網絡子模型的各個節點的特征向量表示提供給所述當前判別模型以得到各個節點的預測標簽值，基于各個節點的預測標簽值以及對應的真實標簽值確定各自的當前損失函數，以及在不滿足循環結束條件時，各個數據擁有方基于各自的當前損失函數確定判別模型的梯度信息，以及基于各自的當前損失函數更新當前圖神經網絡子模型的模型參數，并且將所確定的梯度信息提供給所述服務端，所述各個節點的特征向量表示通過將當前特征數據子集提供給所述當前圖神經網絡子模型而得到；

在未滿足所述循環結束條件時，從各個數據擁有方獲取所述當前判別模型的對應梯度信息，并且基于來自各個數據擁有方的梯度信息更新所述當前判別模型，

其中，在未滿足所述循環結束條件時，所述更新后的各個數據擁有方的圖神經網絡子模型和所述服務端的判別模型用作下一循環過程的當前模型。

8.如權利要求7所述的方法，其中，各個數據擁有方處得到的梯度信息通過安全聚合的方式提供給所述服務端。

9.如權利要求8所述的方法，其中，所述安全聚合包括：

基于秘密共享的安全聚合；

基于同態加密的安全聚合；或者

基于可信執行環境的安全聚合。