[發(fā)明專利]一種保護用戶標識的模型的聯(lián)邦訓練系統(tǒng)、方法及裝置有效
| 申請?zhí)枺?/td> | 202110705937.9 | 申請日： | 2021-06-24 |
| 公開（公告）號： | CN113378198B | 公開（公告）日： | 2022-04-15 |
| 發(fā)明（設(shè)計）人： | 趙迪;王灣灣;何浩;姚明 | 申請（專利權(quán)）人： | 深圳市洞見智慧科技有限公司 |
| 主分類號： | G06F21/60 | 分類號： | G06F21/60;G06N20/20 |
| 代理公司： | 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413 | 代理人： | 項京;趙元 |
| 地址： | 518118 廣東省深圳市福田區(qū)福田街*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 保護 用戶 標識 模型 聯(lián)邦 訓練 系統(tǒng) 方法 裝置 | ||
1.一種保護用戶標識的模型的聯(lián)邦訓練系統(tǒng)，其特征在于，所述系統(tǒng)包括第一訓練設(shè)備、第二訓練設(shè)備以及監(jiān)管設(shè)備，其中：
所述第一訓練設(shè)備，用于獲取第一用戶信息樣本，將所述第一用戶信息樣本的樣本標識發(fā)送至所述第二訓練設(shè)備，并將真實樣本的數(shù)量發(fā)送所述監(jiān)管設(shè)備，其中，所述第一用戶信息樣本包括所述真實樣本和混淆樣本，所述樣本標識為用戶身份信息；
所述第二訓練設(shè)備，用于在接收到所述樣本標識后，基于所述樣本標識進行樣本對齊，得到每個所述第一用戶信息樣本對應(yīng)的第二用戶信息樣本；將當前自身模型部分的第二模型參數(shù)與所述第二用戶信息樣本的乘積用目標公鑰進行加密，得到所述第二用戶信息樣本對應(yīng)的第二加密值，并將所述第二加密值發(fā)送至所述第一訓練設(shè)備；
所述第一訓練設(shè)備，還用于計算當前自身模型部分的第一模型參數(shù)與所述第一用戶樣本信息的乘積，采用所述目標公鑰對所述乘積與預先獲取的截距項相加得到的加和進行加密，得到所述第一用戶信息樣本對應(yīng)的第一加密值，將所述第一加密值和所述第二加密值相加，得到和值，基于所述和值與所述第一用戶信息樣本對應(yīng)的標簽計算得到加密前向梯度，并將所述混淆樣本在所述加密前向梯度中對應(yīng)的值設(shè)置為0，得到調(diào)整后的加密前向梯度；將所述調(diào)整后的加密前向梯度與所述第一用戶信息樣本的乘積，作為所述第一用戶信息樣本對應(yīng)的第一樣本梯度，并將所述加密前向梯度發(fā)送至所述第二訓練設(shè)備，將所述第一樣本梯度發(fā)送至所述監(jiān)管設(shè)備；
所述第二訓練設(shè)備，還用于將所述調(diào)整后的加密前向梯度與所述第二用戶信息樣本的乘積，作為所述第二用戶信息樣本對應(yīng)的第二樣本梯度，并將所述第二樣本梯度發(fā)送至所述監(jiān)管設(shè)備；
所述監(jiān)管設(shè)備，還用于基于所述真實樣本的數(shù)量、預設(shè)學習率以及所述第一樣本梯度，計算得到第一調(diào)整梯度，基于所述真實樣本的數(shù)量、所述預設(shè)學習率以及所述第二樣本梯度，計算得到第二調(diào)整梯度，將所述第一調(diào)整梯度和所述第二樣本梯度分別發(fā)送至所述第一訓練設(shè)備和所述第二訓練設(shè)備；
所述第一訓練設(shè)備，還用于按照所述第一調(diào)整梯度調(diào)整所述第一模型參數(shù)；
所述第二訓練設(shè)備，還用于按照所述第二調(diào)整梯度調(diào)整所述第二模型參數(shù)。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，
所述第一訓練設(shè)備，還用于基于所述第一用戶信息樣本對應(yīng)的標簽，計算預設(shè)損失函數(shù)的加密值，將所述預設(shè)損失函數(shù)的加密值發(fā)送至所述監(jiān)管設(shè)備；
所述監(jiān)管設(shè)備，還用于對所述加密值進行解密，得到所述預設(shè)損失函數(shù)的值，并基于所述預設(shè)損失函數(shù)的值，確定模型是否收斂，如果未收斂，發(fā)送繼續(xù)訓練指令至所述第一訓練設(shè)備及所述第二訓練設(shè)備；
所述第一訓練設(shè)備，還用于在接收到所述繼續(xù)訓練指令后，返回執(zhí)行基于當前自身模型部分的第一模型參數(shù)以及目標公鑰計算第一用戶信息樣本對應(yīng)的第一加密值，直到所述模型收斂；
所述第二訓練設(shè)備，還用于在接收到所述繼續(xù)訓練指令后，返回執(zhí)行基于當前自身模型部分的第二模型參數(shù)以及所述目標公鑰計算第二用戶信息樣本對應(yīng)的第二加密值，直到所述模型收斂。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，
所述監(jiān)管設(shè)備，還用于如果所述模型收斂，發(fā)送停止訓練指令至所述第一訓練設(shè)備及所述第二訓練設(shè)備；
所述第一訓練設(shè)備，還用于在接收到所述停止訓練指令后，停止訓練；
所述第二訓練設(shè)備，還用于在接收到所述停止訓練指令后，停止訓練。
4.根據(jù)權(quán)利要求1-3任一項所述的系統(tǒng)，其特征在于，
所述監(jiān)管設(shè)備，還用于在接收到所述真實樣本的數(shù)量后，生成所述目標公鑰和目標私鑰，并將所述目標公鑰分別發(fā)送至所述第一訓練設(shè)備和所述第二訓練設(shè)備。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，
所述監(jiān)管設(shè)備，具體用于基于所述目標私鑰對所述第一樣本梯度及所述第一樣本梯度進行解密，得到解密后的第一樣本梯度及解密后的第二樣本梯度；基于所述真實樣本的數(shù)量、預設(shè)學習率以及所述解密后的第一樣本梯度，計算得到第一調(diào)整梯度，基于所述真實樣本的數(shù)量、所述預設(shè)學習率以及所述解密后的第二樣本梯度，計算得到第二調(diào)整梯度。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳市洞見智慧科技有限公司，未經(jīng)深圳市洞見智慧科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110705937.9/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
