[發(fā)明專利]縱向聯(lián)邦學習模型的訓練方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202110688660.3
• 申請日: 2021-06-21
• 公開（公告）號: CN113420886A
• 公開（公告）日: 2021-09-21
• 發(fā)明（設計）人: 黃晨宇;王健宗;黃章成
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62;G06F21/60
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

本申請涉及一種縱向聯(lián)邦學習模型的訓練方法、裝置、計算機設備及存儲介質，方法包括：生成用于對模型的數據和參數進行加密的加密公鑰和對模型的加密損失值進行解密的解密私鑰；獲取模型的承諾數據進行零知識證明，承諾數據為參與模型訓練的各第二設備對源數據集進行數據承諾得到的。獲取模型的加密損失初始化參數進行零知識證明，加密損失初始化參數是各第二設備基于加密數據計算得到的。獲取模型的加密損失值進行零知識證明，加密損失值是各第二設備基于加密損失初始化參數和加密損失計算權重計算得到的。基于解密私鑰對加密損失值進行解密，得到模型的損失值，當損失值小于預設閾值時，得到訓練好的縱向聯(lián)邦學習模型。

技術領域

本申請涉及互聯(lián)網技術領域，尤其涉及一種縱向聯(lián)邦學習模型的訓練方法、裝置、計算機設備及存儲介質。

背景技術

現(xiàn)有的聯(lián)邦學習大多假設參與方為半誠實的，即只按照協(xié)議流程進行模型訓練而不會進行任何破壞行為。但這一假設在實際應用過程中顯得過于理想。事實上，聯(lián)邦學習的參與方可能存在惡意節(jié)點，在這種情況下，參與方需要證明自己的訓練過程是準確、合法且一致的，即擁有完整性用于安全審計的需求；同時由于聯(lián)邦學習的初衷就是保護參與方用于訓練的數據的隱私，因此在驗證過程中不能暴露參與方的數據和梯度信息。

發(fā)明內容

本申請?zhí)峁┝艘环N縱向聯(lián)邦學習模型的訓練方法、裝置、計算機設備及存儲介質，以實現(xiàn)對縱向聯(lián)邦學習模型訓練過程中的加密損失計算進行零知識證明，并根據通過零知識證明的加密損失值來確定模型的結束訓練條件，避免模型的過擬合。

第一方面，本申請?zhí)峁┝艘环N縱向聯(lián)邦學習模型的訓練方法，所述方法包括：

生成加密公鑰和解密私鑰；其中，所述加密公鑰用于發(fā)送給參與模型訓練的各第二設備對所述模型的數據和參數進行加密，所述解密私鑰用于對所述模型的加密損失值進行解密得到損失值；

獲取所述模型的承諾數據進行零知識證明，得到所述承諾數據的零知識證明結果，其中，所述承諾數據為所述各第二設備對源數據集進行數據承諾的得到的；

獲取所述模型的加密損失初始化參數進行零知識證明，得到所述加密損失初始化參數的零知識證明結果，其中，所述加密損失初始化參數是所述各第二設備基于所述源數據集通過加密損失初始化計算得到的；

獲取所述模型的加密損失值進行零知識證明，得到所述加密損失值的零知識證明結果，其中，所述加密損失值是所述各第二設備基于所述加密損失初始化參數和加密損失計算權重計算得到的；

基于所述解密私鑰對所述加密損失值進行解密，得到所述縱向聯(lián)邦學習模型訓練過程中的損失值，當所述損失值小于預設閾值時，得到訓練好的縱向聯(lián)邦學習模型。

第二方面，本申請還提供了一種縱向聯(lián)邦學習模型的訓練裝置，所述裝置包括：

秘鑰生成模塊，用于生成加密公鑰和解密私鑰；其中，所述加密公鑰發(fā)送給參與模型訓練的各第二設備用于對所述模型的數據和參數進行加密，所述解密私鑰用于對所述模型的加密損失值進行解密；

數據證明模塊，獲取所述模型的承諾數據進行零知識證明，得到所述承諾數據的零知識證明結果，其中，所述承諾數據為所述各第二設備對源數據集進行數據承諾得到的；

加密損失初始化證明模塊，用于獲取所述模型的加密損失初始化參數進行零知識證明，得到所述加密損失初始化參數的零知識證明結果，其中，所述加密損失初始化參數是所述各第二設備基于所述源數據集通過加密損失初始化計算得到的；

加密損失計算證明模塊，用于獲取所述模型的加密損失值進行零知識證明，得到所述加密損失值的零知識證明結果，其中，所述加密損失值是所述各第二設備基于所述加密損失初始化參數和加密損失計算權重計算得到的；