[發明專利]基于多方的隱私數據聯合訓練模型的方法和裝置

在審

• 申請號: 202011173882.3
• 申請日: 2020-10-28
• 公開（公告）號: CN112199709A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 林曉彤;王維強
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種基于多方的隱私數據聯合訓練模型的方法，所述多方包括第二方和多個第一方，所述多個第一方分別具有各自不同的第一對象集合中各對象的相同的第一特征項的第一隱私數據，以及相應的第一類別標簽，所述多個第一方分別具有各自的第一子模型；所述第二方具有第二對象集合中各對象的第二特征項的第二隱私數據，以及相應的第二類別標簽，所述第二對象集合與任一所述第一對象集合互相重疊，所述第二方具有第二子模型，所述方法由所述多個第一方中的任一第一方執行，所述方法包括：

利用本地第一對象集合中各對象的第一隱私數據和相應的第一類別標簽，以及所述多個第一方中的其他第一方的第一隱私數據和相應的第一類別標簽，基于橫向聯邦學習的方式，對本地的所述第一子模型進行第一階段的訓練，得到所述第一子模型對應的所述多個第一方共享的第一參數集合；

確定本地的第一對象集合與所述第二方具有的第二對象集合互相重疊的共同對象；

利用本地的所述共同對象分別對應的第一隱私數據，以及所述第二方的第二隱私數據和相應的第二類別標簽，基于縱向聯邦學習的方式，對本地的所述第一子模型進行第二階段的訓練，更新本地的所述第一子模型對應的第一參數集合；所述第二方得到其具有的第二子模型對應的第二參數集合。

2.如權利要求1所述的方法，其中，所述多個第一方的業務覆蓋范圍分別屬于不同地域，且提供相同的業務類型；

所述第一方和所述第二方的業務覆蓋范圍包括同一地域，且提供不同的業務類型。

3.如權利要求1所述的方法，其中，所述第一類別標簽和/或所述第二類別標簽用于標識對象是否具有信用風險。

4.如權利要求1所述的方法，其中，所述對象為用戶。

5.如權利要求1所述的方法，其中，所述基于橫向聯邦學習的方式，對本地的所述第一子模型進行第一階段的訓練，包括：

將本地第一對象集合中各對象的第一隱私數據作為所述第一子模型的輸入，通過所述第一子模型輸出第一預測類別；

根據各對象的第一預測類別和相應的第一類別標簽，計算所述第一子模型的梯度；

將梯度進行加密，將加密后的梯度傳輸給服務器；以使所述服務器對從所述多個第一方分別接收到的加密后的梯度，通過安全聚合技術進行梯度聚合，得到聚合后的加密聚合梯度，再將加密聚合梯度分發給各個第一方；

從所述服務器接收所述加密聚合梯度，對所述加密聚合梯度解密，得到解密聚合梯度；

根據所述解密聚合梯度，確定所述第一子模型對應的所述多個第一方共享的第一參數集合。

6.如權利要求5所述的方法，其中，所述基于橫向聯邦學習的方式，對本地的所述第一子模型進行第一階段的訓練，還包括：

根據各對象的第一預測類別和相應的第一類別標簽，確定第一預測損失；

當所述第一預測損失小于第一預設損失時，向所述服務器發送第一通知消息；

從所述服務器接收第二通知消息，所述第二通知消息用于通知所述多個第一方針對各自的第一子模型進行第一階段的訓練后的第一預測損失均小于第一預設損失；

確定第一階段的訓練完成。

7.如權利要求1所述的方法，其中，所述確定本地的第一對象集合與所述第二方具有的第二對象集合互相重疊的共同對象，包括：

利用本地的第一對象集合，以及所述第二方具有的第二對象集合，基于加密的實體關聯技術，建立所述第一對象集合中的對象與所述第二對象集合中的對象的關聯關系；

根據所述關聯關系，確定所述互相重疊的共同對象。