[發明專利]一種基于隱私保護的方式獲取聯合訓練模型的方法及系統

有效

• 申請號: 202010974956.7
• 申請日: 2020-09-16
• 公開（公告）號: CN111931216B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 陳超超;周俊;王力;劉穎婷
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種基于隱私保護的方式獲取聯合訓練模型的方法，所述方法由參與方實現，包括第一終端與第二終端；所述第一終端與第二終端分別持有水平或者垂直切分的訓練數據，所述訓練數據包括含樣本標簽的第一訓練數據以及不含樣本標簽的第二訓練數據，包括以下步驟：

第一終端基于含樣本標簽的所述第一訓練數據通過隱私保護的方式與所述第二終端聯合訓練第一模型；

第一終端將不含標簽的第二訓練數據通過隱私保護的方式輸入訓練好的所述第一模型得到第二訓練數據的預測標簽；所述隱私保護的方式包括同態加密、秘密分享中的至少一種；

第一終端基于含樣本標簽的第一訓練數據以及含預測標簽的第二訓練數據與所述第二終端迭代訓練第二模型；其中，所述第二模型包括第一參數矩陣和第二參數矩陣，所述第一參數矩陣和第二參數矩陣在迭代訓練開始時進行拆分，由所述第一終端持有并更新所述第一參數矩陣的第一部分以及所述第二參數矩陣的第一部分，由所述第二終端持有并更新所述第一參數矩陣的第二部分以及所述第二參數矩陣的第二部分；迭代訓練完成后，將所述第二參數矩陣的第一部分發送給所述第二終端，并從所述第二終端接收所述第一參數矩陣的第二部分；基于所述第一參數矩陣的第一部分以及所述第一參數矩陣的第二部分之和得到所述第一參數矩陣。

2.根據權利要求1所述的方法，在迭代訓練之前，基于秘密分享的方法將預測標簽以及樣本標簽拆分為第一標簽和第二標簽，所述第一標簽和所述第二標簽分別存儲在所述第一終端與所述第二終端上；所述第一終端基于含樣本標簽的第一訓練數據以及含預測標簽的第二訓練數據與所述第二終端迭代訓練第二模型，每輪迭代包括：

第一終端將所述第一參數矩陣第一部分與第一終端訓練數據相乘以確定第一加密累計值第一處理結果；

第一終端采用安全矩陣乘法將所述第一終端訓練數據與第二終端持有的第一參數矩陣第二部分相乘以確定第一加密累計值第二處理結果；

第一終端基于所述第一加密累計值第一處理結果與所述第一加密累計值第二處理結果獲得第一加密累計值；

第一終端基于所述第一標簽與所述第一加密累計值進行計算，得到第一誤差；

第一終端基于所述第一誤差和所述第一終端訓練數據計算第一加密梯度矩陣第一部分；

第一終端采用安全矩陣乘法將第二終端訓練數據與所述第一誤差進行安全矩陣乘法，得到第二加密梯度第一部分。

3.根據權利要求1所述的方法，所述聯合訓練模型包括線性回歸模型。

4.一種基于隱私保護的方式獲取聯合訓練模型的系統，所述系統由參與方中實現，包括第一終端與第二終端；所述第一終端與第二終端分別持有水平或者垂直切分的訓練數據，所述訓練數據包括含樣本標簽的第一訓練數據以及不含樣本標簽的第二訓練數據；所述系統包括：

第一模型獲取模塊：用于基于含樣本標簽的所述第一訓練數據通過隱私保護的方式與所述第二終端聯合訓練第一模型；

預測標簽獲取模塊：用于將不含標簽的第二訓練數據通過隱私保護的方式輸入訓練好的所述第一模型得到第二訓練數據的預測標簽，所述隱私保護的方式包括同態加密、秘密分享中的至少一種；

第二模型獲取模塊：用于基于含樣本標簽的第一訓練數據以及含預測標簽的第二訓練數據與所述第二終端迭代訓練第二模型；其中，所述第二模型包括第一參數矩陣和第二參數矩陣，所述第一參數矩陣和第二參數矩陣在迭代訓練開始時進行拆分，由所述第一終端持有并更新所述第一參數矩陣的第一部分以及所述第二參數矩陣的第一部分，由所述第二終端持有并更新所述第一參數矩陣的第二部分以及所述第二參數矩陣的第二部分；迭代訓練完成后，將所述第二參數矩陣的第一部分發送給所述第二終端，并從所述第二終端接收所述第一參數矩陣的第二部分；基于所述第一參數矩陣的第一部分以及所述第一參數矩陣的第二部分之和得到所述第一參數矩陣。