[發明專利]一種保護用戶標識的模型的聯邦訓練系統、方法及裝置

有效

• 申請號: 202110705937.9
• 申請日: 2021-06-24
• 公開（公告）號: CN113378198B
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 趙迪;王灣灣;何浩;姚明
• 申請（專利權）人: 深圳市洞見智慧科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06N20/20
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;趙元

本發明實施例提供了一種保護用戶標識的模型的聯邦訓練系統、方法及裝置，系統包括第一訓練設備、第二訓練設備以及監管設備，第一訓練設備獲取第一用戶信息樣本，將真實樣本的數量發送監管設備，第一用戶信息樣本包括真實樣本和混淆樣本；將混淆樣本在加密前向梯度中對應的值設置為0，得到調整后的加密前向梯度；第二訓練設備根據調整后的加密前向梯度計算第二樣本梯度；監管設備基于真實樣本的數量、計算得到第一調整梯度和第二調整梯度；按照第一調整梯度調整第一模型參數；按照第二調整梯度調整第二模型參數。在真實樣本中加入混淆樣本，將混淆樣本在加密前向梯度中的值設置為0，實現不影響模型訓練效果的同時，提高用戶信息安全性的目的。

技術領域

本發明涉及模型訓練技術領域，特別是涉及一種保護用戶標識的模型的聯邦訓練系統、方法及裝置。

背景技術

模型的聯邦訓練即為兩個數據提供方利用自身具備的數據共同對模型訓練的模型訓練方式，其應用非常廣泛。例如，在銀行、保險等金融機構與外部數據合作方進行模型的聯邦訓練等。

在模型的聯邦訓練過程中，首先兩個數據提供方之間要根據樣本標識進行樣本的對齊，再基于對齊的樣本開展模型訓練。現有的方式是模型訓練發起方和外部數據合作方通過隱私保護求交技術(Private Set Intersection)進行樣本標識的對齊，進而實現樣本的對齊，這種方式外部數據合作方會得到交集的樣本標識，造成模型訓練發起方的樣本標識信息泄漏。

由于樣本標識一般均是用戶的一些比較隱私的信息，例如，銀行或保險等金融機構中樣本標識一般是客戶的身份證或手機號等隱私信息。那么便可能存在用戶信息被泄露的風險。

發明內容

本發明實施例的目的在于提供一種保護用戶標識的聯邦模型訓練系統、方法及裝置，以在不影響模型訓練效果的同時，提高用戶信息的安全性。具體技術方案如下：

第一方面，本發明實施例提供了一種保護用戶標識的模型的聯邦訓練系統，所述系統包括第一訓練設備、第二訓練設備以及監管設備，其中：

所述第一訓練設備，用于獲取第一用戶信息樣本，將所述第一用戶信息樣本的樣本標識發送至所述第二訓練設備，并將真實樣本的數量發送所述監管設備，其中，所述第一用戶信息樣本包括所述真實樣本和混淆樣本，所述樣本標識為用戶身份信息；

所述第二訓練設備，用于在接收到所述樣本標識后，基于所述樣本標識進行樣本對齊，得到每個所述第一用戶信息樣本對應的第二用戶信息樣本；基于當前自身模型部分的第二模型參數以及目標公鑰計算第二用戶信息樣本對應的第二加密值，并將所述第二加密值發送至所述第一訓練設備；

所述第一訓練設備，還用于基于當前自身模型部分的第一模型參數以及所述目標公鑰計算第一用戶信息樣本對應的第一加密值，基于所述第一加密值和所述第二加密值計算得到加密前向梯度，并將所述混淆樣本在所述加密前向梯度中對應的值設置為0，得到調整后的加密前向梯度；根據所述調整后的加密前向梯度計算所述第一用戶信息樣本對應的第一樣本梯度，并將所述加密前向梯度發送至所述第二訓練設備，將所述第一樣本梯度發送至所述監管設備；

所述第二訓練設備，還用于根據所述調整后的加密前向梯度計算所述第二用戶信息樣本對應的第二樣本梯度，并將所述第二樣本梯度發送至所述監管設備；

所述監管設備，還用于基于所述真實樣本的數量、預設學習率以及所述第一樣本梯度，計算得到第一調整梯度，基于所述真實樣本的數量、所述預設學習率以及所述第二樣本梯度，計算得到第二調整梯度，將所述第一調整梯度和所述第二樣本梯度分別發送至所述第一訓練設備和所述第二訓練設備；

所述第一訓練設備，還用于按照所述第一調整梯度調整所述第一模型參數；

所述第二訓練設備，還用于按照所述第二調整梯度調整所述第二模型參數。