[發(fā)明專利]聯(lián)邦學(xué)習(xí)中多用戶梯度置換的聚合方法

有效

• 申請?zhí)枺?/td>: 202110257594.4
• 申請日: 2021-03-09
• 公開（公告）號: CN112906052B
• 公開（公告）日: 2022-12-23
• 發(fā)明（設(shè)計）人: 楊力;秦文靜;李成;于源;李茜;賈竣博;劉澤宇;楊高磊;馬卓茹;王志鑫;應(yīng)世睿
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;田文英

本發(fā)明公開的一種聯(lián)邦學(xué)習(xí)中多用戶梯度置換的聚合方法，旨在保護(hù)用戶敏感數(shù)據(jù)的場景下，解決現(xiàn)有隱私保護(hù)技術(shù)中存在的用戶計算開銷大導(dǎo)致整個聚合過程的效率低以及利用差分隱私的方法會降低全局模型的準(zhǔn)確率的問題，本發(fā)明實(shí)現(xiàn)步驟為：生成服務(wù)器的公鑰和私鑰，生成聚合比例，加密聚合比例，每個用戶對其每個梯度加權(quán)，置換加權(quán)梯度，聚合所有用戶的混淆梯度集，更新模型參數(shù)集合。本發(fā)明的方法保證聚合后的模型準(zhǔn)確率不下降的同時大大提高了整個聚合過程的效率，實(shí)現(xiàn)對用戶敏感數(shù)據(jù)的有效保護(hù)。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，更進(jìn)一步涉及數(shù)據(jù)加解密技術(shù)領(lǐng)域中的一種聯(lián)邦學(xué)習(xí)中多用戶梯度置換的聚合方法。本發(fā)明可用來對多個用戶訓(xùn)練的梯度數(shù)據(jù)進(jìn)行置換，并支持服務(wù)器對所有用戶發(fā)來的置換梯度數(shù)據(jù)進(jìn)行聚合以隱藏單個用戶的梯度數(shù)據(jù)，使服務(wù)器通過解密只能得到所有用戶聚合后的梯度數(shù)據(jù)，而不能得到單個用戶的詳細(xì)梯度數(shù)據(jù)，最終達(dá)到保護(hù)用戶梯度數(shù)據(jù)隱私的目的。

背景技術(shù)

聯(lián)邦學(xué)習(xí)致力于解決多個用戶在不公開各自數(shù)據(jù)集的情況下，協(xié)同完成模型訓(xùn)練的問題。但是，服務(wù)器并非可信第三方，當(dāng)其在對用戶的本地梯度數(shù)據(jù)進(jìn)行收集和處理的同時，用戶隱私泄露問題也隨之而來。例如，通過在未加密的聯(lián)邦學(xué)習(xí)框架中，惡意的服務(wù)器可以輕易地利用用戶的本地梯度數(shù)據(jù)恢復(fù)其輸入數(shù)據(jù)?？紤]到對所有用戶的本地梯度數(shù)據(jù)進(jìn)行密態(tài)的聚合可以隱藏單個用戶的詳細(xì)梯度數(shù)據(jù)，因此，為了防止單個用戶的本地梯度數(shù)據(jù)在聚合前被竊聽，要求用戶采用合適的加密方法對自己訓(xùn)練的本地梯度數(shù)據(jù)進(jìn)行加密，然后再發(fā)送給服務(wù)器以便進(jìn)行聚合。

Le Trieu Phong等人在其發(fā)表的論文“Privacy-preserving deep learning viaadditively homomorphic encryption”(IEEE Transactions on Information Forensicsand Security,2018,13(5):1333–1345.)中提出了一種分布式訓(xùn)練中對多用戶梯度進(jìn)行密態(tài)聚合的數(shù)據(jù)聚合方法。該方法的主要步驟是：(1)用戶共同設(shè)置加法同態(tài)加密方案的公鑰和私鑰，然后再基于本地數(shù)據(jù)集訓(xùn)練出本地梯度數(shù)據(jù)；(2)用戶分別采用加密公鑰對梯度數(shù)據(jù)進(jìn)行加密，然后將加密結(jié)果發(fā)送給服務(wù)器；(3)服務(wù)器對密態(tài)梯度數(shù)據(jù)進(jìn)行聚合，然后將聚合結(jié)果發(fā)送給用戶；(4)用戶采用解密私鑰對聚合的結(jié)果進(jìn)行解密，得到所有用戶協(xié)同訓(xùn)練的全局梯度數(shù)據(jù)。該方法存在的不足之處是：由于在服務(wù)器進(jìn)行聚合操作之前，用戶需要使用同態(tài)加密算法對本地梯度數(shù)據(jù)進(jìn)行加密，并且在服務(wù)器結(jié)束聚合操作之后，用戶需要再使用同態(tài)解密算法對聚合結(jié)果進(jìn)行解密，由于同態(tài)算法的加密和解密操作都十分的耗時，由此加重了用戶的計算負(fù)擔(dān)，進(jìn)而降低了整個聚合過程的效率。

騰訊科技(深圳)有限公司在其申請的專利文獻(xiàn)“分布式數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)”(申請?zhí)朇N202110005822.9，申請公布號CN112329073A，公布日期2021.02.05)中提出了一種支持多用戶梯度聚合的數(shù)據(jù)安全聚合方法。該方法的主要步驟是：(1)用戶通過差分隱私的方式對本地模型進(jìn)行訓(xùn)練，計算出本地梯度數(shù)據(jù)；(2)用戶以明文的形式向服務(wù)器傳輸本地梯度數(shù)據(jù)；(3)服務(wù)器對接受到的本地梯度數(shù)據(jù)進(jìn)行聚合，然后將聚合結(jié)果發(fā)送給用戶；(4)用戶接收由服務(wù)器發(fā)送的全局梯度數(shù)據(jù)。該方法存在的不足之處是：由于用戶使用差分隱私的方式對本地模型進(jìn)行訓(xùn)練，由此計算出的本地梯度數(shù)據(jù)包含噪聲，導(dǎo)致后續(xù)服務(wù)器進(jìn)行聚合操作得到的結(jié)果包含所有用戶添加的噪聲之和，因此，該數(shù)據(jù)聚合方法在用戶數(shù)量少的情形下帶來了極大的誤差，降低了聚合后的全局模型的準(zhǔn)確率。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對上述已有技術(shù)的不足，提出一種聯(lián)邦學(xué)習(xí)中多用戶梯度置換的聚合方法，用于解決現(xiàn)有技術(shù)為了保護(hù)梯度數(shù)據(jù)的隱私性，用戶本地需要使用計算開銷極大的同態(tài)加密算法進(jìn)行加密和解密操作，由此加重了用戶的計算負(fù)擔(dān)，進(jìn)而降低了整個數(shù)據(jù)聚合過程的效率；用戶使用差分隱私為梯度添加噪聲，從而降低了最終聚合的全局模型的準(zhǔn)確率的問題。