[發明專利]基于多方的隱私數據聯合訓練模型的方法和裝置

在審

• 申請號: 202011173882.3
• 申請日: 2020-10-28
• 公開（公告）號: CN112199709A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 林曉彤;王維強
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種基于多方的隱私數據聯合訓練模型的方法和裝置，方法包括：多個第一方中的任一第一方利用本地第一對象集合中各對象的第一隱私數據和第一類別標簽，以及其他第一方的第一隱私數據和第一類別標簽，基于橫向聯邦學習的方式，得到第一子模型對應的多個第一方共享的第一參數集合；確定本地的第一對象集合與第二方具有的第二對象集合互相重疊的共同對象；利用本地的共同對象分別對應的第一隱私數據，以及第二方的第二隱私數據和第二類別標簽，基于縱向聯邦學習的方式，更新本地的第一子模型對應的第一參數集合；第二方得到其具有的第二子模型對應的第二參數集合。能夠提高訓練后得到的模型的預測準確率。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及基于多方的隱私數據聯合訓練模型的方法和裝置。

背景技術

隨著人工智能、機器學習的普遍進步，可以基于多方的隱私數據聯合訓練模型，利用訓練后的模型執行相應的預測任務。數據在建模中占有極其重要的地位，更多維、更豐富的數據有利于建立更準確、效果更好的模型。數據分布于多方，存在一定隱私安全問題，多方之間無法獲取其他方的隱私數據。由于隱私保護及數據壁壘等問題，很難在保護各方的隱私數據的前提下，安全、全面的利用多方的隱私數據聯合訓練模型，因此訓練后得到的模型的預測準確率不佳。

因此，希望能有改進的方案，能夠安全、全面的利用多方的隱私數據聯合訓練模型，提高訓練后得到的模型的預測準確率。

發明內容

本說明書一個或多個實施例描述了一種基于多方的隱私數據聯合訓練模型的方法和裝置，能夠安全、全面的利用多方的隱私數據聯合訓練模型，提高訓練后得到的模型的預測準確率。

第一方面，提供了一種基于多方的隱私數據聯合訓練模型的方法，所述多方包括第二方和多個第一方，所述多個第一方分別具有各自不同的第一對象集合中各對象的相同的第一特征項的第一隱私數據，以及相應的第一類別標簽，所述多個第一方分別具有各自的第一子模型；所述第二方具有第二對象集合中各對象的第二特征項的第二隱私數據，以及相應的第二類別標簽，所述第二對象集合與任一所述第一對象集合互相重疊，所述第二方具有第二子模型，所述方法由所述多個第一方中的任一第一方執行，方法包括：

利用本地第一對象集合中各對象的第一隱私數據和相應的第一類別標簽，以及所述多個第一方中的其他第一方的第一隱私數據和相應的第一類別標簽，基于橫向聯邦學習的方式，對本地的所述第一子模型進行第一階段的訓練，得到所述第一子模型對應的所述多個第一方共享的第一參數集合；

確定本地的第一對象集合與所述第二方具有的第二對象集合互相重疊的共同對象；

利用本地的所述共同對象分別對應的第一隱私數據，以及所述第二方的第二隱私數據和相應的第二類別標簽，基于縱向聯邦學習的方式，對本地的所述第一子模型進行第二階段的訓練，更新本地的所述第一子模型對應的第一參數集合；所述第二方得到其具有的第二子模型對應的第二參數集合。

在一種可能的實施方式中，所述多個第一方的業務覆蓋范圍分別屬于不同地域，且提供相同的業務類型；

所述第一方和所述第二方的業務覆蓋范圍包括同一地域，且提供不同的業務類型。

在一種可能的實施方式中，所述第一類別標簽和/或所述第二類別標簽用于標識對象是否具有信用風險。

在一種可能的實施方式中，所述對象為用戶。

在一種可能的實施方式中，所述基于橫向聯邦學習的方式，對本地的所述第一子模型進行第一階段的訓練，包括：

將本地第一對象集合中各對象的第一隱私數據作為所述第一子模型的輸入，通過所述第一子模型輸出第一預測類別；

根據各對象的第一預測類別和相應的第一類別標簽，計算所述第一子模型的梯度；