[發(fā)明專利]基于聯(lián)邦學習和相互學習的模型參數(shù)訓練方法及裝置

有效

• 申請?zhí)枺?/td>: 202010892666.8
• 申請日: 2020-08-31
• 公開（公告）號: CN112039702B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 劉君媛
• 申請（專利權(quán)）人: 中誠信征信有限公司
• 主分類號: H04L41/14
• 分類號: H04L41/14;H04L41/142;H04L41/147;G06F21/60;G06K9/62;G06N20/00
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

1.一種基于聯(lián)邦學習和相互學習的模型參數(shù)訓練方法，其特征在于，應用于參數(shù)訓練端，所述方法包括：

基于本地樣本數(shù)據(jù)以及預設(shè)子模型的初始參數(shù)，對子模型進行訓練，得到所述子模型的參數(shù)；所述本地樣本數(shù)據(jù)包括：用戶數(shù)據(jù)、商品數(shù)據(jù)或企業(yè)數(shù)據(jù)；

對所述子模型的參數(shù)進行加密，并將加密后的子模型參數(shù)發(fā)送給參數(shù)協(xié)調(diào)端，以使所述參數(shù)協(xié)調(diào)端對接收到的子模型參數(shù)進行匯總，并返回匯總后的子模型參數(shù)集合，或?qū)邮盏降淖幽Ｐ蛥?shù)進行安全聚合，并返回安全聚合后的子模型參數(shù)；

在接收到所述參數(shù)協(xié)調(diào)端返回的匯總后的子模型參數(shù)集合的情況下，對所述匯總后的子模型參數(shù)集合中的各子模型參數(shù)進行解密，得到解密后的子模型參數(shù)集合；

基于本地樣本數(shù)據(jù)以及所述解密后的子模型參數(shù)集合，對所述子模型進行訓練，得到所述子模型的更新參數(shù)，將所述子模型的更新參數(shù)更新為所述子模型的參數(shù)，以及執(zhí)行對所述子模型的參數(shù)進行加密，并將加密后的子模型參數(shù)發(fā)送給參數(shù)協(xié)調(diào)端的步驟；

在接收到所述參數(shù)協(xié)調(diào)端返回的安全聚合后的子模型參數(shù)的情況下，對所述安全聚合后的子模型參數(shù)進行解密，得到解密后的子模型參數(shù)；

基于本地樣本數(shù)據(jù)以及所述解密后的子模型參數(shù)，對所述子模型進行訓練，得到所述子模型的更新參數(shù)，將所述子模型的更新參數(shù)更新為所述子模型的參數(shù)，以及執(zhí)行對所述子模型的參數(shù)進行加密，并將加密后的子模型參數(shù)發(fā)送給參數(shù)協(xié)調(diào)端的步驟；

或，將所述解密后的子模型參數(shù)確定為所述子模型對應的總模型參數(shù)；

其中，所述基于本地樣本數(shù)據(jù)以及所述解密后的子模型參數(shù)集合，對所述子模型進行訓練，得到所述子模型的更新參數(shù)的步驟，包括：

將由本地樣本數(shù)據(jù)構(gòu)成的本地數(shù)據(jù)集劃分為多個小批量數(shù)據(jù)集；

基于所述解密后的子模型參數(shù)集合，使用各小批量數(shù)據(jù)集對所述子模型進行訓練，得到子模型更新參數(shù)；

使用如下表達式對子模型的參數(shù)進行更新：

其中，Θⁱ表示第i個參數(shù)訓練端子模型的參數(shù)，η表示學習率，表示第二損失函數(shù)對Θⁱ所求的偏導，表示子模型參數(shù)集合，Θ^m表示第m個參數(shù)訓練端子模型的參數(shù)，K表示參數(shù)訓練端的個數(shù)，表示第i個參數(shù)訓練端的第t個小批量數(shù)據(jù)集，表示計算損失函數(shù)所用到的數(shù)據(jù)集，為第一損失函數(shù)，表示數(shù)據(jù)集所包含的樣本數(shù)，D_KL表示KL離散距離，對于m＝1，2，...，K，有表示樣本數(shù)據(jù)x通過參數(shù)為Θ^m的模型進行預測所得結(jié)果為l的概率，y表示標簽數(shù)據(jù)，C表示標簽數(shù)據(jù)y的取值個數(shù)，C為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述子模型的參數(shù)進行加密，并將加密后的子模型參數(shù)發(fā)送給參數(shù)協(xié)調(diào)端的步驟包括：

對所述子模型的參數(shù)進行加法同態(tài)加密，并將加密后的子模型參數(shù)發(fā)送給參數(shù)協(xié)調(diào)端。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于本地樣本數(shù)據(jù)以及預設(shè)子模型的初始參數(shù)，對子模型進行訓練，得到所述子模型的參數(shù)的步驟，包括：

將由本地樣本數(shù)據(jù)構(gòu)成的本地數(shù)據(jù)集劃分為多個小批量數(shù)據(jù)集；

基于預設(shè)子模型的初始參數(shù)，使用各小批量數(shù)據(jù)集對所述子模型進行訓練，得到子模型更新參數(shù)；

在本地當前訓練次數(shù)滿足第一預設(shè)條件時，將當前訓練次數(shù)對應的子模型更新參數(shù)，確定為所述子模型的參數(shù)；

其中，使用如下表達式對子模型的參數(shù)進行更新：

Θⁱ表示第i個參數(shù)訓練端子模型的參數(shù)，η表示學習率，表示第一損失函數(shù)對Θⁱ所求的偏導，表示第i個參數(shù)訓練端的第j個小批量數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在基于本地樣本數(shù)據(jù)以及預設(shè)子模型的初始參數(shù)，對子模型進行訓練，得到所述子模型的參數(shù)之前，所述方法還包括：

確定子模型以及所述子模型對應的總模型所對應的具體算法；

在得到子模型對應的總模型參數(shù)之后，所述方法還包括：

接收樣本數(shù)據(jù)；

將所述樣本數(shù)據(jù)輸入所述總模型中進行預測，得到所述總模型輸出的預測結(jié)果。