[發(fā)明專利]一種基于隱私保護(hù)技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 201811540698.0
• 申請日: 2018-12-17
• 公開（公告）號: CN109684855B
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計）人: 李洪偉;郝猛;徐國文;劉森;龔麗;成藝;李雙;任彥之;楊浩淼
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;H04L9/00
• 代理公司: 成都點睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 孫一峰

1.一種基于隱私保護(hù)技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法，其特征在于，包括以下步驟：

S1、系統(tǒng)初始化：系統(tǒng)生成安全參數(shù)λ，并為所有參與方分配相同的對稱密鑰sk＝(p,q)，同時公開參數(shù)N＝pq；云服務(wù)器初始化全局訓(xùn)練模型以及模型參數(shù)ω₀和學(xué)習(xí)速率η；具體方法是：

可信的密鑰生成中心KGC根據(jù)安全參數(shù)λ，為所有參與方分配相同的對稱密鑰sk＝(p,q)，其中p,q為兩個大素數(shù)，并公開參數(shù)N＝pq；

云服務(wù)器初始化全局神經(jīng)網(wǎng)絡(luò)模型以及模型參數(shù)ω₀和學(xué)習(xí)速率η，并設(shè)置目標(biāo)函數(shù)L_f(y,f(x,ω))，其中x表示訓(xùn)練數(shù)據(jù)，y表示標(biāo)簽，函數(shù)f為神經(jīng)網(wǎng)絡(luò)的一次運行；

S2、預(yù)處理：云服務(wù)器廣播初始化的模型參數(shù)ω₀；參與方1加密ω₀并將密文參數(shù)E(ω₀)返回至云服務(wù)器，使得云服務(wù)器在訓(xùn)練過程中始終持有最新模型參數(shù)的密文；具體方法是：

S21、云服務(wù)器廣播初始化的模型參數(shù)ω₀；

S22、參與方1加密接收的初始化參數(shù)ω₀：

其中，p^-1，q^-1分別為p，q在和中的逆元，ω_0,p和ω_0,q分別表示ω_0,p≡ω₀mod p，ω_0,q≡ω₀mod q；

S23、參與方1將密文參數(shù)E(ω₀)返回至云服務(wù)器；預(yù)處理操作確保云服務(wù)器擁有上一輪的密文參數(shù)，以便在密文環(huán)境下更新參數(shù)，即，在第t+1次更新模型參數(shù)時，云服務(wù)器擁有第t次密文參數(shù)E(ω_t)；

S3、訓(xùn)練本地數(shù)據(jù)：參與方下載全局神經(jīng)網(wǎng)絡(luò)模型，并利用私有數(shù)據(jù)集在本地進(jìn)行訓(xùn)練；在第t次訓(xùn)練時，參與方μ選擇一個小批量數(shù)據(jù)集訓(xùn)練模型，并根據(jù)定義好的損失函數(shù)計算訓(xùn)練誤差，從而計算本地梯度G_t,μ；在第t次訓(xùn)練時，參與方μ在本地數(shù)據(jù)集中隨機(jī)選取一個小批量數(shù)據(jù)集D_t,μ，參與方μ根據(jù)損失函數(shù)計算損失誤差進(jìn)而計算參數(shù)的梯度

S4、梯度加密：加密過程分為兩個步驟，首先利用拉普拉斯機(jī)制對梯度G_t,μ添加噪音產(chǎn)生然后根據(jù)同態(tài)加密機(jī)制加密被擾動的梯度產(chǎn)生密文梯度C_t,μ；參與方將密文梯度C_t,μ發(fā)送至云服務(wù)器；具體方法是：

S41、為保證本地數(shù)據(jù)集的安全性，參與方μ從拉普拉斯分布中隨機(jī)選擇噪音，進(jìn)而擾動本地梯度：

其中，Δf為全局敏感度，表示一對臨近數(shù)據(jù)集在函數(shù)f下的最大曼哈頓距離，其在確定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下是固定值；ε為隱私預(yù)算，越小的隱私預(yù)算代表添加越大的噪音值，同時意味著更差的精確性；拉普拉斯分布的概率密度函數(shù)為令為實現(xiàn)更高的精確度，選取較大的隱私預(yù)算ε，實現(xiàn)ε-差分隱私；

S42、考慮到差分隱私權(quán)衡精確度和安全性，為進(jìn)一步提高安全性，參與方μ采用對稱秘鑰的同態(tài)加密對被擾動的梯度進(jìn)行加密：

其中，p^-1，q^-1分別為p，q在和中的逆元，和分別表示

S43、參與方μ將步驟S42得到的密文梯度C_t,μ發(fā)送至云服務(wù)器；

S5、安全聚合：云服務(wù)器首先聚合接收到的所有密文梯度產(chǎn)生C_t,add，再根據(jù)上一輪密文參數(shù)E(ω_t)產(chǎn)生新的密文參數(shù)E(ω_t+1)；云服務(wù)器向所有參與方廣播新一輪密文參數(shù)E(ω_t+1)；具體方法為：

S51、在云服務(wù)器接收到所有用戶的密文梯度，對其進(jìn)行聚合操作：

其中多項式定理確保等式的正確性；在用戶數(shù)量足夠多并且噪音足夠小的場景下，添加噪音的梯度聚合值和真實的梯度聚合值非常相近，從而在保證安全性的基礎(chǔ)上確保訓(xùn)練的精確性；

S52、云服務(wù)器根據(jù)上一輪密文參數(shù)E(ω_t)和梯度聚合值C_t,add產(chǎn)生新的密文參數(shù)E(ω_t+1)：

其中為一個常量，n為參與方的數(shù)量，η為學(xué)習(xí)速率；

S53、云服務(wù)器向所有參與方廣播新一輪密文參數(shù)E(ω_t+1)，并在云端存儲該密文參數(shù)，用于下一輪參數(shù)更新；

S6、參數(shù)解密：任意參與方對密文參數(shù)E(ω_t+1)進(jìn)行模p和模q操作，再利用中國剩余定理解密密文參數(shù)；用最新的參數(shù)更新本地模型，從而進(jìn)行后續(xù)的模型訓(xùn)練；具體方法是：

S61、任意一個參與方μ接收到新一輪密文參數(shù)E(ω_t+1)，對E(ω_t+1)進(jìn)行模p以及模q的模運算操作：

同理，模q操作為：

其中，在和中分別滿足p^-1p≡1mod q，q^-1q≡1mod p；

S62、根據(jù)中國剩余定理對模操作處理的密文E(ω_t+1)進(jìn)行解密，解密過程如下：

其中ω_t+1為最新的參數(shù)，ω_t+1,p、ω_t+1,q為模p以及模q操作的結(jié)果；利用中國剩余定理求解如下同余式：

ω_t+1＝m_pqω_t+1,p+m_qpω_t+1,qmod N

其中m_pq≡1mod p，m_qp≡1mod q；

S63、用最新的參數(shù)ω_t+1更新參與方的本地模型，從而進(jìn)行后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。