[發明專利]圖神經網絡模型訓練方法、裝置及系統

有效

• 申請號: 202010691847.4
• 申請日: 2020-07-17
• 公開（公告）號: CN111738438B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 鄭龍飛;周俊;陳超超;王力
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝;劉景峰

本說明書實施例提供圖神經網絡模型訓練方法及裝置。圖神經網絡模型包括位于各個第一成員設備的節點特征向量表示子模型和歸一化子模型以及位于第二成員設備的判別模型，各個第一成員設備的私有數據是非獨立同分布數據。各個第一成員設備的節點特征向量表示子模型的模型結構根據各自數據的數據分布特征確定。各個第一成員設備使用節點特征向量表示子模型和歸一化子模型得到歸一化特征向量表示，利用從第二成員設備獲取的判別模型得到預測標簽值并確定出損失函數。各個第一成員設備基于損失函數，確定判別模型的模型更新量并更新節點特征向量表示子模型和歸一化子模型。第二成員設備使用源于各個第一成員設備的判別模型的模型更新量更新判別模型。

技術領域

本說明書實施例通常涉及機器學習領域，尤其涉及用于訓練圖神經網絡模型的方法、裝置及系統。

背景技術

圖神經網絡模型是機器學習領域廣泛使用的機器學習模型。在很多情況下，多個數據擁有方(例如，電子商務公司、快遞公司和銀行)各自擁有訓練圖神經網絡模型所使用的特征數據的不同部分數據。該多個數據擁有方希望共同使用彼此的數據來統一訓練圖神經網絡模型，但又不想將各自的私有數據提供給其它數據擁有方以防止隱私數據泄露。

面對這種情況，提出了能夠保護隱私數據安全的圖神經網絡模型訓練方法，其能夠在保證多個數據擁有方的各自隱私數據安全的情況下，協同該多個數據擁有方來訓練圖神經網絡模型，以供該多個數據擁有方使用。

發明內容

鑒于上述問題，本說明書實施例提供一種用于訓練圖神經網絡模型的方法、裝置及系統，其能夠在保證多個數據擁有方的各自隱私數據安全的情況下實現圖神經網絡模型訓練。

根據本說明書實施例的一個方面，提供一種用于訓練圖神經網絡模型的方法，所述圖神經網絡模型包括位于各個第一成員設備處的節點特征向量表示子模型和歸一化子模型以及位于第二成員設備處的判別模型，各個第一成員設備具有私有數據和標簽值，各個第一成員設備的私有數據是非獨立同分布數據，并且按照水平切分的方式共同組成所述圖神經網絡模型的訓練樣本，所述方法包括：在各個第一成員設備處，將用于模型訓練的私有數據提供給節點特征向量表示子模型得到節點特征向量表示，以及將所述節點特征向量表示提供給歸一化子模型得到歸一化特征向量表示，所述歸一化特征向量表示的維度與所述判別模型的輸入維度相同，各個第一成員設備的節點特征向量表示子模型的模型結構根據各自私有數據的數據分布特征確定；各個第一成員設備從所述第二成員設備獲取當前判別模型；在各個第一成員設備處，將所述歸一化特征向量表示提供給所述判別模型得到預測標簽值，根據所述預測標簽值以及所述第一成員設備具有的標簽值確定損失函數，并且基于所述損失函數，確定所述判別模型的模型更新量并更新所述節點特征向量表示子模型和所述歸一化子模型；各個第一成員設備將所述判別模型的模型更新量提供給所述第二成員設備；以及在所述第二成員設備處，使用源于各個第一成員設備的判別模型的模型更新量來更新所述判別模型。

可選地，在上述方面的一個示例中，各個第一成員設備處得到的模型更新量通過安全聚合的方式提供給所述第二成員設備。

可選地，在上述方面的一個示例中，所述安全聚合包括：基于秘密共享的安全聚合；基于同態加密的安全聚合；基于不經意傳輸的安全聚合；基于混淆電路的安全聚合；或者基于可信執行環境的安全聚合。

可選地，在上述方面的一個示例中，各個第一成員設備具有模型更新權重，以及所述第二成員設備使用源于各個第一成員設備的判別模型的模型更新量以及各自的模型更新權重來更新所述判別模型。

可選地，在上述方面的一個示例中，各個第一成員設備的模型更新權重根據各個第一成員設備的私有數據的數據質量和/或批樣本數據數量確定。

可選地，在上述方面的一個示例中，針對所述圖神經網絡模型的訓練循環執行，直到滿足循環結束條件，其中，在未滿足所述循環結束條件時，所述更新后的各個第一成員設備的節點特征向量表示子模型和歸一化子模型以及所述第二成員設備的判別模型用作下一循環過程的當前模型。