[發明專利]基于差分隱私和量化的聯邦學習全局模型訓練方法

在審

• 申請號: 202110856897.8
• 申請日: 2021-07-28
• 公開（公告）號: CN113591145A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 王子龍;周伊琳;陳謙;肖丹;王鴻波;陳嘉偉;劉蘊琪;安澤宇
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于差分隱私和量化的聯邦學習全局模型訓練方法，其特征在于，本地用戶基于差分隱私向本地模型梯度中添加高斯噪聲，基于量化對添加噪聲后的本地模型梯度依次進行閾值量化和壓縮量化，該訓練方法的步驟包括如下：

步驟1，中央服務器下發經過其預訓練的聯邦學習全局模型；

步驟2，根據中央服務器下發的聯邦學習全局模型和每個本地用戶的隱私數據生成每個本地用戶的本地模型梯度；

步驟3，對每個本地用戶的本地模型梯度添加噪聲：

(3a)計算每個本地用戶符合差分隱私的高斯噪聲尺度值；

(3b)為每個本地用戶的本地模型梯度中的每個參數值生成一個符合高斯分布的噪聲值，所有噪聲值的均值為0，標準差為σ，σ是由噪聲值分布進行概率統計得到的統計量；

(3c)為每個本地用戶的本地模型梯度中的每個參數值加上其對應的符合差分隱私的高斯噪聲值；

步驟4，對每個本地用戶的添加噪聲后的本地模型梯度進行閾值量化：

(4a)將每個本地用戶的本地模型梯度中的大于零的參數值組成正參數集合，小于零的參數值組成負參數集合；

(4b)利用閾值計算方法，計算每個本地用戶的正參數閾值和負參數閾值；

(4c)將每個本地用戶的添加噪聲后的本地模型梯度中，所有符合閾值選取條件的參數值組成閾值量化后的本地模型梯度；

步驟5，利用壓縮公式，對每個本地用戶的閾值量化后的本地模型梯度進行壓縮量化；

步驟6，將每個本地用戶的壓縮量化后的本地模型梯度上傳至中央服務器；

步驟7，利用聚合公式，中央服務器對上傳的本地模型梯度進行加權聚合獲得全局模型梯度；

步驟8，利用更新公式，中央服務器用全局模型梯度更新當前迭代的聯邦學習全局模型中的參數值；

步驟9，將中央服務器更新后的聯邦學習全局模型中的參數值下發給每個本地用戶；

步驟10，判斷每個本地用戶是否滿足訓練終止條件，若是，則執行步驟11,否則，執行步驟2；

步驟11，結束訓練。

2.根據權利要求1所述的基于差分隱私和量化的聯邦學習全局模型訓練方法，其特征在于：步驟2中所述的每個本地用戶的本地模型梯度是由多個參數值組成的數組，其中，數組中的每個參數值是每個本地用戶利用其隱私數據對中央服務器下發的聯邦學習全局模型中的參數值求偏導數后的數值。

3.根據權利要求1所述的基于差分隱私和量化的聯邦學習全局模型訓練方法，其特征在于：步驟(3a)中所述的每個本地用戶符合差分隱私的高斯噪聲尺度值是由下式計算得到的：

其中，σ_i表示第i個本地用戶符合差分隱私的高斯噪聲尺度值，所述符合差分隱私的高斯噪聲是指添加的噪聲值符合高斯分布且能使本地模型參數符合差分隱私，Δf_i表示第i個本地用戶的全局敏感度，所述全局敏感度是指添加噪聲后本地模型梯度與未加噪聲的本地模型梯度的歐式距離，ε_i表示中央服務器為第i個本地用戶設置的隱私預算值，In(·)表示以自然常數e為底的對數操作，δ_i表示第i個本地用戶獲得未加噪聲的本地模型梯度的概率。

4.根據權利要求1所述的基于差分隱私和量化的聯邦學習全局模型訓練方法，其特征在于：步驟(4b)中所述的閾值計算方法如下：

第一步，將每個本地用戶的正梯度集合中的元素進行升序排序，將排序中的第個參數值作為正參數閾值，其中，表示向上取整操作，R表示[0,100]內的一個數值，*表示乘法操作，|·|表示取集合中元素個數的操作，P表示正參數集合；

第二步，將每個本地用戶的負梯度集合中的元素進行升序排序，將排序中的第個元素作為負梯度閾值，其中，N表示負參數集合。

5.根據權利要求1所述的基于差分隱私和量化的聯邦學習全局模型訓練方法，其特征在于：步驟(4c)中所述的閾值選取條件指的是選取出大于正參數閾值的正參數值或者小于負參數閾值的負參數值。