[發明專利]基于本地差分隱私的聯邦學習圖像分類方法

在審

• 申請號: 202111059634.0
• 申請日: 2021-09-10
• 公開（公告）號: CN113850272A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 朱笑巖;王亞杰;張琳杰;馬建峰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于本地差分隱私的聯邦學習圖像分類方法，其特征在于，包括如下步驟：

(1)構建聯邦學習場景模型：

構建包括中心服務器和I個本地客戶端L＝{L_i|1≤i≤I}的聯邦學習場景模型，其中，I≥2，L_i表示第i個本地客戶端；

(2)本地客戶端獲取訓練樣本集和測試樣本集：

每個本地客戶端L_i獲取包含M個目標類別的N幅圖像，并對每幅圖像進行標注，然后將半數以上圖像及其標簽作為訓練樣本集，將剩余的圖像及其標簽作為測試樣本集其中，M≥2，N≥500；

(3)構建基于卷積神經網絡的圖像分類模型H：

本地客戶端L構建基于卷積神經網絡的圖像分類模型，卷積神經網絡包括依次層疊的輸入層、m個卷積層-ReLU層-池化層、輸出層，其中m≥2，輸出層包括依次層疊的多個全連接層；

(4)本地客戶端L初始化參數：

本地客戶端L初始化迭代次數為t，最大迭代次數為T，T≥50，當前基于卷積神經網絡的圖像分類模型為H_t，H_t的權重參數為w_t，w_t的參數值數量為k，k≥10000，并令t＝0，H_t＝H；

(5)本地客戶端L對基于卷積神經網絡的圖像分類模型H的權重參數進行本地更新：

(5a)本地客戶端L將從訓練樣本集中有放回且隨機選取的c·N個訓練樣本作為當前基于卷積神經網絡的圖像分類模型H_t的輸入進行前向傳播，得到預測標簽集合其中，c為采樣因子，表示第q個訓練樣本對應的預測標簽，1≤q≤c·N；

(5b)本地客戶端L采用交叉熵損失函數，并通過每個預測標簽和其對應的真實標簽計算圖像分類模型H_t的損失值然后求取對H_t的權重參數w_t的偏導再采用隨機梯度下降法，通過將在H_t中進行反向傳播的方式對w_t進行更新，得到本地更新后的權重參數Δ_iw_t；

(6)本地客戶端L對權重參數Δ_iw_t進行本地差分隱私擾動并上傳：

(6a)每個本地客戶端L_i選取更新后的權重參數Δ_iw_t中絕對值最大的θ_uk個參數，并求取所選取的每個參數與Δ_iw_t中絕對值最大的值C的商，得到標準化的擾動輸入值其中θ_u表示選擇參數因子，0.01≤θ_u≤1，x_j表示第j個擾動輸入值，1≤j≤θ_uk；

(6b)每個本地客戶端L_i對每個擾動輸入值x_j生成隨機數u_t∈[0,1]，并判斷是否成立，若是，從區間中均勻采集x_j的擾動輸出值y_j，否則，從區間中均勻采集x_j的擾動輸出值y_j，其中，A表示擾動輸出的邊界，ε表示隱私預算，0.1≤ε≤10；

(6c)本地客戶端L將θ_uk個擾動輸出值組合成上傳向量并將上傳至中心服務器；

(7)中心服務器獲取權值參數全局更新后的基于卷積神經網絡的圖像分類模型并發送：

中心服務器對上傳向量進行聚合，得到的聚合結果實現對本地更新后的權重參數Δ_iw_t的全局更新，并將權重參數w_t經過本地更新以及全局更新后的圖像分類模型發送至每個本地客戶端L_i；

(8)中心服務器獲取訓練好的基于卷積神經網絡的圖像分類模型：

中心服務器判斷t≥T是否成立，若是，得到訓練好的基于卷積神經網絡的圖像分類模型H'，若否，令t＝t+1，并執行步驟(5)；

(9)本地客戶端獲取圖像分類結果：

每個本地客戶端L_i將測試樣本集作為訓練好的基于卷積神經網絡的圖像分類模型H'的輸入進行前向傳播，得到所有測試樣本的預測標簽。