[發(fā)明專利]縱向聯(lián)邦學習模型的訓練方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202110688660.3
• 申請日: 2021-06-21
• 公開（公告）號: CN113420886A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設計）人: 黃晨宇;王健宗;黃章成
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62;G06F21/60
• 代理公司: 深圳市力道知識產(chǎn)權代理事務所(普通合伙) 44507
• 代理人: 張傳義

1.一種縱向聯(lián)邦學習模型的訓練方法，其特征在于，所述方法應用于縱向聯(lián)邦學習模型訓練過程中的第一設備，包括：

生成加密公鑰和解密私鑰；其中，所述加密公鑰用于發(fā)送給參與模型訓練的各第二設備對所述模型的數(shù)據(jù)和參數(shù)進行加密，所述解密私鑰用于對所述模型的加密損失值進行解密；

獲取所述模型的承諾數(shù)據(jù)進行零知識證明，得到所述承諾數(shù)據(jù)的零知識證明結果，其中，所述承諾數(shù)據(jù)為所述各第二設備對源數(shù)據(jù)集進行數(shù)據(jù)承諾得到的；

獲取所述模型的加密損失初始化參數(shù)進行零知識證明，得到所述加密損失初始化參數(shù)的零知識證明結果，其中，所述加密損失初始化參數(shù)是所述各第二設備基于所述源數(shù)據(jù)集通過加密損失初始化計算得到的；

獲取所述模型的加密損失值進行零知識證明，得到所述加密損失值的零知識證明結果，其中，所述加密損失值是所述各第二設備基于所述加密損失初始化參數(shù)和加密損失計算權重計算得到的；

基于所述解密私鑰對所述加密損失值進行解密，得到所述模型訓練過程中的損失值，當所述損失值小于預設閾值時，得到訓練好的縱向聯(lián)邦學習模型。

2.根據(jù)權利要求1所述的訓練方法，其特征在于，所述方法還包括：

當所述損失值大于或等于所述預設閾值時，根據(jù)所述損失值更新所述加密損失計算權重得到更新的加密損失計算權重，并將所述更新的加密損失計算權重發(fā)送所述各第二設備用于所述模型的迭代訓練。

3.根據(jù)權利要求1所述的訓練方法，其特征在于，所述方法包括：

基于計算任務生成零知識證明門電路，所述計算任務包括：數(shù)據(jù)承諾、加密損失初始化、加密損失計算；

根據(jù)所述零知識證明門電路生成證明秘鑰和驗證秘鑰，其中，所述證明秘鑰用于所述各第二設備生成證明，所述驗證秘鑰用于對所述證明進行驗證；

基于所述驗證秘鑰對所述證明進行驗證，得到所述計算任務結果的零知識證明結果。

4.根據(jù)權利要求1所述的訓練方法，其特征在于，所述方法還包括：

根據(jù)所述承諾數(shù)據(jù)的零知識證明結果，確定是否存在虛假數(shù)據(jù)；

確定不存在虛假數(shù)據(jù)時，將所述源數(shù)據(jù)集用于所述模型的加密損失初始化計算；

確定存在虛假數(shù)據(jù)時，將提供所述虛假數(shù)據(jù)的第二設備確定為惡意節(jié)點，并將所述惡意節(jié)點移除，重新開始所述模型的訓練。

5.根據(jù)權利要求1所述的訓練方法，其特征在于，所述方法還包括：

根據(jù)所述加密損失初始化參數(shù)的零知識證明結果，確定所述加密損失初始化過程是否存在惡意節(jié)點；

確定所述加密損失初始化過程不存在惡意節(jié)點時，將所述加密損失初始化參數(shù)用于所述模型的加密損失計算；

確定所述加密損失初始化過程存在惡意節(jié)點時，通知所述各第二設備，并停止所述模型的訓練。

6.根據(jù)權利要求1所述的訓練方法，其特征在于，所述方法還包括：

根據(jù)所述加密損失值的零知識證明結果，確定所述加密損失計算過程是否存在惡意節(jié)點；

確定所述加密損失計算過程不存在惡意節(jié)點時，將所述加密損失值用于解密得到所述模型訓練過程中的損失值；

確定所述加密損失計算過程存在惡意節(jié)點時，通知所述各第二設備，并停止所述模型的訓練。

7.根據(jù)權利要求1至6任一項所述的訓練方法，其特征在于，所述生成加密公鑰和解密私鑰包括：

基于同態(tài)加密算法生成所述加密公鑰和所述解密私鑰。