[發(fā)明專利]異步機(jī)制的隱私保護(hù)聯(lián)邦學(xué)習(xí)方法、裝置、介質(zhì)及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210449740.8
• 申請(qǐng)日: 2022-04-26
• 公開（公告）號(hào): CN115062320A
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 苗銀賓;劉紫騰;馬建峰;李興華;馬卓
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06F21/60
• 分類號(hào): G06F21/60;G06F21/62;G06K9/62
• 代理公司: 北京市誠(chéng)輝律師事務(wù)所 11430
• 代理人: 耿慧敏;成丹

本發(fā)明是針對(duì)現(xiàn)有異步聯(lián)邦學(xué)習(xí)技術(shù)中通信開銷過大、公平性與準(zhǔn)確性相矛盾、本地模型梯度收集和全局模型梯度聚合更新過程中的梯度隱私泄露的問題，提出的一種支持異步機(jī)制的隱私保護(hù)聯(lián)邦學(xué)習(xí)方法。該方法在設(shè)定時(shí)長(zhǎng)內(nèi)接收所有最新的和陳舊的第一模型密文，對(duì)這些模型按照落后第二模型輪次的程度賦予不同權(quán)重并加權(quán)聚合，避免了由于網(wǎng)絡(luò)延遲或掉線導(dǎo)致等待時(shí)間增加的問題。同時(shí)需要先將模型使用掩碼加密后再上傳，不僅保護(hù)了客戶端的隱私，還減小了傳統(tǒng)隱私保護(hù)聯(lián)邦學(xué)習(xí)方案中由于同態(tài)加密技術(shù)帶來的巨大計(jì)算量和通信開銷。

技術(shù)領(lǐng)域

本公開涉及信息安全技術(shù)領(lǐng)域，尤其涉及一種支持異步機(jī)制的隱私保護(hù)聯(lián)邦學(xué)習(xí)方法、裝置、介質(zhì)及系統(tǒng)。

背景技術(shù)

首先，現(xiàn)有的聯(lián)邦學(xué)習(xí)方法大都是同步的，即每輪訓(xùn)練中服務(wù)器需要等待所有客戶端都完成訓(xùn)練后才能對(duì)本地模型進(jìn)行聚合。然而客戶端可能存在掉線或網(wǎng)絡(luò)延遲等問題，導(dǎo)致訓(xùn)練時(shí)間增長(zhǎng)，從而服務(wù)器和其他客戶端等待時(shí)間增長(zhǎng)。

其次，現(xiàn)有的異步聯(lián)邦學(xué)習(xí)方法大都直接上傳明文的模型更新至服務(wù)器，服務(wù)器或惡意的第三方可能會(huì)對(duì)該信息進(jìn)行推斷，從而導(dǎo)致客戶端隱私的泄露。而現(xiàn)有的保護(hù)隱私的聯(lián)邦學(xué)習(xí)方法如同態(tài)加密，雖然保護(hù)了隱私并且支持加法或乘法運(yùn)算，但會(huì)生成大量的密文，導(dǎo)致巨大的通信開銷，同時(shí)，生成密文和加密計(jì)算等操作也會(huì)導(dǎo)致大量的計(jì)算開銷。而且，大多每收到一個(gè)客戶端發(fā)來的模型更新就進(jìn)行聚合并且將聚合后的模型發(fā)送給客戶端，可能存在通信開銷的問題，相比傳統(tǒng)的同步聯(lián)邦學(xué)習(xí)方案，該異步聯(lián)邦學(xué)習(xí)方案增加了服務(wù)器發(fā)送全局模型的次數(shù)，從而增加了通信開銷。

第三，同步的聯(lián)邦學(xué)習(xí)可能能夠降低客戶端掉線對(duì)全局模型精度的影響，但對(duì)于多個(gè)設(shè)備在非常接近的時(shí)間內(nèi)發(fā)送同一輪模型更新給服務(wù)器時(shí)，并不能使多個(gè)設(shè)備同步聚合；而使用分層機(jī)制的異步的聯(lián)邦學(xué)習(xí)可能會(huì)出現(xiàn)全局模型經(jīng)過多輪聚合后，第m層才第一次將模型上傳至服務(wù)器，該模型相對(duì)于全局模型是有延時(shí)的，但在聚合時(shí)權(quán)重更高，該機(jī)制增加了公平性但可能會(huì)影響全局模型的準(zhǔn)確度。因此現(xiàn)有技術(shù)的聯(lián)邦學(xué)習(xí)方法存在著公平性和準(zhǔn)確性的問題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)的主要目的在于：針對(duì)現(xiàn)有異步聯(lián)邦學(xué)習(xí)技術(shù)中通信開銷過大、公平性與準(zhǔn)確性相矛盾、本地模型梯度收集和全局模型梯度聚合更新過程中的梯度隱私泄露的問題，提出一種支持異步機(jī)制的隱私保護(hù)聯(lián)邦學(xué)習(xí)方法。

基于上述目的，本發(fā)明提出如下的技術(shù)方案：

第一方面，本發(fā)明提出了一種異步機(jī)制的隱私保護(hù)聯(lián)邦學(xué)習(xí)方法，所述方法包括下述步驟：

s100、在設(shè)置的時(shí)長(zhǎng)內(nèi)，在各客戶端上對(duì)第一模型進(jìn)行本地訓(xùn)練，對(duì)訓(xùn)練好的第一模型，使用該第一模型所在客戶端對(duì)應(yīng)的標(biāo)識(shí)符生成的掩碼進(jìn)行加密，獲得第一模型密文；

S200、在所述時(shí)長(zhǎng)內(nèi)使服務(wù)器獲得第一模型密文、第一模型所在客戶端對(duì)應(yīng)的標(biāo)識(shí)符以及第一模型所在客戶端的時(shí)間戳；

S300、由服務(wù)器根據(jù)服務(wù)器的時(shí)間戳和獲得的每一個(gè)客戶端的時(shí)間戳的差值，計(jì)算獲得的每一個(gè)客戶端發(fā)送的第一模型密文對(duì)應(yīng)權(quán)重，進(jìn)而利用所述權(quán)重對(duì)第一模型密文進(jìn)行加權(quán)聚合，得到第二模型密文；

S400、使客戶端獲得第二模型密文、服務(wù)器上計(jì)算的各個(gè)權(quán)重、當(dāng)前服務(wù)器的時(shí)間戳以及當(dāng)前服務(wù)器獲得的標(biāo)識(shí)符，并使服務(wù)器上的時(shí)間戳更新；

S500、使客戶端時(shí)間戳更新為獲得的服務(wù)器的時(shí)間戳，對(duì)當(dāng)前每一個(gè)被服務(wù)器獲得的標(biāo)識(shí)符，獲得其對(duì)應(yīng)的掩碼；將所述掩碼與權(quán)重結(jié)合獲得第二模型密文的密鑰，從而解密得到第二模型；

S600、判斷客戶端上的第二模型與第一模型的差值是否滿足收斂條件，若不滿足，將第二模型作為客戶端上新的第一模型，返回S100；

其中，每個(gè)客戶端具有節(jié)點(diǎn)標(biāo)識(shí)符掩碼表，在節(jié)點(diǎn)標(biāo)識(shí)符掩碼表中，所述掩碼基于標(biāo)識(shí)符生成，不同客戶端對(duì)應(yīng)不同標(biāo)識(shí)符。