[發明專利]一種協作學習場景下基于噪聲擾動的隱私保護方法和系統

在審

• 申請號: 202310302147.5
• 申請日: 2023-03-27
• 公開（公告）號: CN116186780A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 胡勝山;陸建榮;李明慧;王乙臣;薛潞潞
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N3/04;G06N3/08
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

1.一種協作學習場景下基于噪聲擾動的隱私保護方法，其特征在于，包括以下步驟：

(1)服務端與所有客戶端共同協商確定作為全局模型進行訓練的神經網絡模型，并確定參與訓練的客戶端的數量M，訓練過程的迭代總次數，全局模型的學習率lr，以及訓練過程中所使用的損失函數L；

(2)服務端設置計數器cnt＝1，并初始化全局模型，以得到第cnt次迭代時的全局模型G^cnt以及參數矩陣W^cnt和偏置矩陣v^cnt；

(3)服務端判斷cnt是否大于步驟(1)中確定的訓練過程的迭代總次數，如果是則過程結束，否則轉入步驟(4)；

(4)服務端將當前全局模型G^cnt的參數矩陣W^cnt和偏置矩陣b^cnt與計數器cnt發送到客戶端；

(5)第i個客戶端判斷來自服務端的計數器cnt是否等于1，如果是則初始化累積偏差值然后轉入步驟(6)；否則設置累積偏差值然后進入步驟(6)；其中是在第i個客戶端再第cnt-1輪迭代中的累積偏差值；其中i∈[1，參與訓練的客戶端的數量M]；

(6)第i個客戶端根據來自服務端的第cnt次迭代時的全局模型G^cnt的參數矩陣W^cnt和偏置矩陣b^cnt，獲取第i個客戶端第cnt次迭代時的本地梯度向量

(7)第i個客戶端根據步驟(6)獲得的客戶端第cnt次迭代時的本地梯度向量與步驟(5)獲得的第cnt次迭代時的累積偏差值進行偏差糾正，以得到第cnt次迭代時經偏差糾正后的本地梯度向量

(8)第i個客戶端對步驟(7)中得到的第cnt次迭代時經偏差糾正后的本地梯度向量進行裁剪，以得到第cnt次迭代時裁剪后的本地梯度向量

(9)第i個客戶端對步驟(8)中得到的第cnt次迭代時裁剪后的本地梯度向量添加噪聲，以獲取第cnt次迭代時擾動后的梯度

(10)第i個客戶端對步驟(7)得到的第cnt次迭代時的本地梯度向量和對步驟(9)得到的第cnt次迭代時擾動后的本地梯度向量進行本地偏差記錄，以得到第cnt次迭代時的本地偏差并將該第cnt次迭代時擾動后的本地梯度向量發送到服務端。

(11)服務端獲取來自所有客戶端發送的第cnt次迭代時擾動后的本地梯度向量，然后對這些獲取到的擾動后的本地梯度向量取平均值，作為第cnt次迭代時全局模型的梯度向量ΔW^cnt；

(12)服務端根據步驟(11)中得到的第cnt次迭代時全局模型的梯度向量ΔW^cnt和步驟(1)中確定的全局模型學習率lr，更新全局模型的參數矩陣，以得到第cnt+1次迭代的全局模型參數矩陣W^cnt+，更新計數器cnt＝cnt+1，并返回步驟(3)。

2.根據權利要求1所述的協作學習場景下基于噪聲擾動的隱私保護方法，其特征在于，

確定的參與訓練的客戶端的數量M是大于或等于2；

神經網絡模型可以是Resnet50、ViT、或Vgg19；

迭代總次數的取值范圍是2000到4000，優選為2500；

學習率lr的取值范圍為0到1，優選0.05；

損失函數為交叉熵損失函數，其表達式為：其中K為數據總數，labe_i為第i個數據的標簽，y_i為神經網絡模型對第i個數據的輸出結果。

3.根據權利要求1或2所述的協作學習場景下基于噪聲擾動的隱私保護方法，其特征在于，步驟(2)包括以下子步驟：

(2-1)服務端生成一個隨機數矩陣S，其大小與第cnt次迭代時的全局模型G^cnt的參數矩陣W保持一致，且隨機數矩陣S中每個元素的值都是介于0到1之間；

(2-2)服務端用步驟(2-1)中生成的隨機數矩陣S初始化全局模型，即設置全局模型的參數矩陣W＝S；

(2-3)服務端設置偏置矩陣b＝0。