[發明專利]一種基于差分隱私和混沌加密的聯邦學習方法

有效

• 申請號: 202110623714.8
• 申請日: 2021-06-04
• 公開（公告）號: CN113239404B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 高鐵杠;張澤輝;何寧昕
• 申請（專利權）人: 南開大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/20;G06N3/08;G06F7/58
• 代理公司: 天津耀達律師事務所 12223
• 代理人: 侯力

1.一種基于差分隱私和混沌加密的聯邦學習方法，應用于包括參數服務器與N個計算節點的聯邦學習系統，N＞1的整數，所述方法是在聯邦學習訓練的第i、i0、次迭代中，執行如下操作：

第1、所述參數服務端將模型參數集合下發給N_i個計算節點；其中，N_i≤N，所述N_i個計算節點中存在N_ti個目標計算節點；

第2、第k、0≤k≤N、個目標計算節點從參數服務器下載加密狀態下的全局模型權重參數密文Enc(w_global)，并對Enc(w_global)進行解密，得到全局模型參數w_global；

第3、第k個目標計算節點將全局模型參數w_global加載至本地模型，并根據所述全局模型參數集合與本地訓練樣本執行梯度計算以及差分隱私保護操作對本地模型進行訓練，得到本地模型更新的權重參數w_node,k；

第4、第k個目標計算節點使用混沌加密算法對本地模型的權重參數w_node,k進行加密，得到本地模型參數密文Enc(w_node,k)，并將Enc(w_node,k)上傳至參數服務器；本地模型參數密文Enc(w_node,k)的獲取方法具體包括：

第k個目標計算節點使用混沌系統生成偽隨機數列R_i；

第k個目標計算節點根據所述的偽隨機數列R_i對本地模型參數進行置亂、加法、減法操作，得到Enc(w_node,k)；從而使參數服務器無法獲得該節點的模型參數，進而無法通過逆向推導的方式獲得該節點的本地數據信息；

第5、所述的參數服務器基于各計算節點上傳的模型參數密文Enc(w_node,k)，更新全局模型參數密文Enc(w_global),并將更新后的全局模型參數密文發送至各計算節點；

所述參數服務器更新全局模型參數密文Enc(w_node,k)的方法具體包括：

所述參數服務器計算所述各目標計算節點k的重要度α_k,i；

所述參數服務器根據各目標計算節點的重要度和所述的本地模型參數密文，計算全局模型參數密文

2.如權利要求1所述的方法，其特征在于，針對所述N個計算節點中的任一計算節點，若該計算節點在接收到模型參數集合之后，繼續處于在線狀態直至第i次迭代結束，則該節點屬于目標類型計算節點。

3.如權利要求1所述的方法，其特征在于，第k個目標計算節點將全局模型參數wglobal加載至本地模型，并使用基于差分隱私的優化算法對本地模型進行訓練，具體包括：

第3.1、第k個目標計算節點從本地數據庫隨機抽取批次大小為b_k的訓練樣本，其中b_k大于0且小于本地數據樣本個數；

第3.2、第k個目標計算節點根據所述全局模型參數集合與所抽取的訓練樣本執行梯度計算，得到梯度參數▽w_node,k；

第3.3、第k個目標計算節點對梯度參數▽w_node,k進行裁剪得到裁剪梯度參數Cw_node,k；

第3.4、第k個目標計算節點對所述的裁剪梯度參數Cw_node,k添加噪聲Noise，獲得經過差分隱私處理的本地模型梯度參數Dw_node,k；

第3.5、第k個目標計算節點使用優化算法，根據所獲得的參數Dw_node,k計算本地模型的權重參數w_node,k。

4.如權利要求3所述的方法，其特征在于，所述的優化算法具體包括：梯度下降法，動量梯度下降法，Adam算法，Adagrad算法和RMSProp。