[發明專利]一種基于可選隱私數據進行模型訓練的方法及系統

有效

• 申請號: 201911329551.1
• 申請日: 2019-12-20
• 公開（公告）號: CN111062492B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 陳超超;王力;周俊
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種基于可選隱私數據進行模型訓練的方法；所述方法包括：

第三方接收至少來自第一終端和第二終端的第一類數據；并基于接收到的第一類數據及其對應的模型參數計算第一類累計數據；

第三方通過多方安全計算的方式獲取累計損失值；所述累計損失值至少由第一終端和第二終端基于所述第一類累計數據、自身的第二類數據以及樣本標簽確定；

第三方將所述累計損失值參與第一類累計梯度和第二類累計梯度的計算，所述第一類累計梯度和第二類累計梯度用于更新至少基于所述第一終端和第二終端的聯合訓練模型的參數；

其中，所述第一終端和所述第二終端分別持有第一訓練數據和第二訓練數據，所述第一訓練數據和所述第二訓練數據對應不同樣本的相同特征；

所述第一訓練數據和所述第二訓練數據中至少一個包括對應不同隱私等級的第一類數據和第二類數據；所述第一類數據和第二類數據對應于相同的訓練樣本。

2.根據權利要求1所述的方法，所述聯合訓練的模型包括線性回歸模型或邏輯回歸模型。

3.根據權利要求1所述的方法，第三方將所述累計損失值參與第一類累計梯度和第二類累計梯度的計算包括：

第三方通過多方安全計算的方式獲取第二類累計梯度；所述第二類累計梯度至少由第一終端和第二終端基于自身的損失值以及第二類數據確定；

第三方基于所述第二類累計梯度更新第二類模型參數。

4.根據權利要求3所述的方法，第三方將所述累計損失值參與第一類累計梯度和第二類累計梯度的計算包括：

第三方基于所述累計損失值以及至少對應于第一終端和第二終端的第一類數據計算第一類累計梯度；

第三方基于所述第一類累計梯度更新第一類模型參數。

5.根據權利要求1所述的方法，所述第一訓練數據和所述第二訓練數據包括與實體相關的圖像數據、文本數據或聲音數據。

6.根據權利要求1所述的方法，所述多方安全計算的方式包括和共享。

7.一種基于可選隱私數據進行模型訓練的系統；所述系統包括：

第一類數據接收模塊，用于接收至少來自第一終端和第二終端的第一類數據；

第一類累計數據確定模塊，用于基于接收到的第一類數據及其對應的模型參數計算第一類累計數據；

累計損失值確定模塊，用于通過多方安全計算的方式獲取累計損失值；所述累計損失值至少由第一終端和第二終端基于所述第一類累計數據、自身的第二類數據以及樣本標簽確定；

模型參數更新模塊，用于將所述累計損失值參與第一類累計梯度和第二類累計梯度的計算，所述第一類累計梯度和第二類累計梯度用于更新至少基于所述第一終端和第二終端的模型的聯合訓練模型的參數；

其中，第一終端和第二終端分別持有第一訓練數據和第二訓練數據，所述第一訓練數據和所述第二訓練數據對應不同樣本的相同特征；

所述第一訓練數據和所述第二訓練數據中至少一個包括對應不同隱私等級的第一類數據和第二類數據；所述第一類數據和第二類數據對應于相同的訓練樣本。

8.根據權利要求7所述的系統，所述聯合訓練的模型包括線性回歸模型或邏輯回歸模型。

9.根據權利要求7所述的系統，所述模型參數更新模塊還用于：

通過多方安全計算的方式獲取第二類累計梯度；所述第二類累計梯度至少由第一終端和第二終端基于自身的損失值以及第二類數據確定；

基于所述第二類累計梯度更新第二類模型參數。

10.根據權利要求9所述的系統，所述模型參數更新模塊還用于：

基于所述累計損失值以及至少對應于第一終端和第二終端的第一類數據計算第一類累計梯度；

基于所述第一類累計梯度更新第一類模型參數。

11.根據權利要求7所述的系統，所述第一訓練數據和所述第二訓練數據包括與實體相關的圖像數據、文本數據或聲音數據。