[發(fā)明專利]一種基于差分隱私和混沌加密的聯(lián)邦學習方法

有效

• 申請?zhí)枺?/td>: 202110623714.8
• 申請日: 2021-06-04
• 公開（公告）號: CN113239404B
• 公開（公告）日: 2022-07-19
• 發(fā)明（設計）人: 高鐵杠;張澤輝;何寧昕
• 申請（專利權）人: 南開大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/20;G06N3/08;G06F7/58
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

一種基于差分隱私和混沌加密的聯(lián)邦學習方法。為了保護計算節(jié)點的本地數(shù)據(jù)信息不泄露，在迭代過程中，節(jié)點采用基于差分隱私的優(yōu)化算法使用本地數(shù)據(jù)對模型進行訓練，然后使用混沌加密算法對更新后的本地模型參數(shù)進行加密，并將本地模型參數(shù)密文上傳至參數(shù)服務器。參數(shù)服務器，使用多個計算節(jié)點上傳的加密模型參數(shù)對全局模型參數(shù)進行更新，并將更新后的全局模型參數(shù)密文發(fā)送至各計算節(jié)點。接著，計算節(jié)點對收到的全局模型參數(shù)密文進行解密，并載入本地模型中，進行下一次迭代訓練。

技術領域

本發(fā)明屬于信息安全和人工智能交叉技術領域，尤其涉及一種基于聯(lián)邦學習模型的訓練方法。

背景技術

聯(lián)邦學習(Federated machine learning/Federated Learning)，是一種分布式學習算法，可以在多個分散的數(shù)據(jù)庫或服務器上訓練機器學習模型，這些設備不共享本地數(shù)據(jù)庫儲存的數(shù)據(jù)，而是通過分享其本地訓練的模型參數(shù)。

在聯(lián)邦學習系統(tǒng)中，參數(shù)服務器向多個計算節(jié)點發(fā)送一個初始化的深度學習模型。然后，各計算節(jié)點使用本地數(shù)據(jù)庫中的數(shù)據(jù)訓練本地模型，訓練一次后，將計算出的模型參數(shù)梯度發(fā)送至參數(shù)服務器。接收到各計算節(jié)點發(fā)送的梯度參數(shù)后，參數(shù)服務器使用隨機梯度下降法對全局模型的權重參數(shù)進行更新，并將更新后的權重參數(shù)發(fā)送給所有計算節(jié)點。以上訓練過程多次迭代，直至達到訓練設定條件。

如此，可以使得計算節(jié)點的本地數(shù)據(jù)不用上傳分享，并且能夠多個計算節(jié)點共同協(xié)作訓練機器學習模型。

申請?zhí)枮镃N202011205945.9(公開號：CN112565331A)的中國發(fā)明專利申請公開了一種基于邊緣計算的端-邊協(xié)同聯(lián)邦學習優(yōu)化方法。該申請公開的聯(lián)邦學習系統(tǒng)沒有對邊緣節(jié)點的本地數(shù)據(jù)資源進行隱私保護。在某些場景下，邊緣節(jié)點上傳的模型參數(shù)可能會泄露本地數(shù)據(jù)隱私信息。

發(fā)明內(nèi)容

本發(fā)明目的是解決聯(lián)邦學習系統(tǒng)中存在的計算節(jié)點數(shù)據(jù)隱私泄露和隱私保護計算成本高昂的問題，提供一種基于差分隱私和混沌加密的聯(lián)邦學習方法。

本發(fā)明的技術方案如下

一種基于差分隱私和混沌加密的聯(lián)邦學習(模型訓練)方法，應用于包括參數(shù)服務器與N個計算節(jié)點的聯(lián)邦學習系統(tǒng)，N＞1的整數(shù)，所述方法是在聯(lián)邦學習訓練的第i次(i0)迭代中，執(zhí)行如下操作：

第1、所述參數(shù)服務端將模型參數(shù)集合下發(fā)給N_i個計算節(jié)點；其中，N_i≤N，所述N_i個計算節(jié)點中存在N_ti個目標計算節(jié)點；所述模型對應的類型包括：神經(jīng)網(wǎng)絡模型、卷積神經(jīng)網(wǎng)絡模型、LSTM神經(jīng)網(wǎng)絡模型、GAN神經(jīng)網(wǎng)絡模型以及深度信念神經(jīng)網(wǎng)絡模型；

針對所述N個計算節(jié)點中的任一計算節(jié)點，若該計算節(jié)點在接收到模型參數(shù)集合之后，繼續(xù)處于在線狀態(tài)直至第i次迭代結(jié)束，則該節(jié)點屬于目標類型計算節(jié)點；

第2、第k(0≤k≤N)個目標計算節(jié)點從參數(shù)服務器下載加密狀態(tài)下的全局模型權重參數(shù)密文Enc(w_global)，并對Enc(w_global)進行解密，得到全局模型參數(shù)w_global；

第3、第k個目標計算節(jié)點將全局模型參數(shù)w_global加載至本地模型，并根據(jù)所述全局模型參數(shù)集合與本地訓練樣本執(zhí)行梯度計算以及差分隱私保護操作對本地模型進行訓練，得到本地模型更新的權重參數(shù)w_node,k；具體包括：

第3.1、第k個目標計算節(jié)點從本地數(shù)據(jù)庫隨機抽取批次大小為b_k(b_k大于0并且小于等于該節(jié)點所有樣本的個數(shù))的訓練樣本；

第3.2、第k個目標計算節(jié)點根據(jù)所述全局模型參數(shù)集合與所抽取的訓練樣本執(zhí)行梯度計算，得到梯度參數(shù)▽w_node,k；