[發(fā)明專利]一種基于隱私保護(hù)技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法

有效

• 申請?zhí)枺?/td>: 201811540698.0
• 申請日: 2018-12-17
• 公開（公告）號: CN109684855B
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 李洪偉;郝猛;徐國文;劉森;龔麗;成藝;李雙;任彥之;楊浩淼
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;H04L9/00
• 代理公司: 成都點(diǎn)睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 孫一峰

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，涉及一種基于隱私保護(hù)技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法。本發(fā)明實(shí)現(xiàn)了一種基于隱私保護(hù)技術(shù)的高效聯(lián)合深度學(xué)習(xí)訓(xùn)練方法。本發(fā)明中，各個(gè)參與方首先在私有數(shù)據(jù)集上訓(xùn)練本地模型獲得本地梯度，再將本地梯度進(jìn)行拉普拉斯噪音擾動，并加密后發(fā)送至云服務(wù)器；云服務(wù)器將接收到的所有本地梯度與上一輪的密文參數(shù)進(jìn)行聚合操作，并廣播產(chǎn)生的密文參數(shù)；最終，參與方解密接收到密文參數(shù)，并更新本地模型從而進(jìn)行后續(xù)的訓(xùn)練。本發(fā)明結(jié)合同態(tài)加密方案和差分隱私技術(shù)，提出了安全高效的深度學(xué)習(xí)訓(xùn)練方法，保證訓(xùn)練模型的精確性，同時(shí)防止服務(wù)器推斷模型參數(shù)和訓(xùn)練數(shù)據(jù)隱私以及內(nèi)部攻擊獲取私密信息。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，涉及一種基于隱私保護(hù)技術(shù)的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法。

背景技術(shù)

聯(lián)合深度學(xué)習(xí)(Federated Deep Learning)允許參與方在不公開私有數(shù)據(jù)集的情況下聯(lián)合訓(xùn)練深度學(xué)習(xí)模型。各個(gè)參與方獨(dú)自在私有數(shù)據(jù)集上訓(xùn)練模型，并與其它參與方共享梯度、參數(shù)等訓(xùn)練結(jié)果，從而間接分享各自的訓(xùn)練數(shù)據(jù)。相比于集中式的深度學(xué)習(xí)，聯(lián)合深度學(xué)習(xí)不需要收集用戶的私有數(shù)據(jù)，具有更高的效率和更強(qiáng)的安全性，并且參與方持有訓(xùn)練完成的模型以便在本地進(jìn)行預(yù)測。

差分隱私(Differential Privacy)是一種在保留統(tǒng)計(jì)學(xué)特征的前提下去除個(gè)體特征以保護(hù)用戶隱私的密碼技術(shù)。拉普拉斯機(jī)制經(jīng)常被用來實(shí)現(xiàn)差分隱私保護(hù)，通過向確切的查詢結(jié)果中加入服從拉普拉斯分布的隨機(jī)噪聲來實(shí)現(xiàn)∈-差分隱私保護(hù)。差分隱私需要對安全性和實(shí)用性進(jìn)行權(quán)衡，通常，更高級別的隱私保護(hù)意味著更低的實(shí)用性。同時(shí)，差分隱私具有串行組合的性質(zhì)，多次添加噪音導(dǎo)致安全性的降低。

同態(tài)加密(Homomorphic Encryption)是一種被普遍應(yīng)用的加密方案，允許對密文進(jìn)行操作，其解密結(jié)果與明文上進(jìn)行相應(yīng)操作的結(jié)果一致。同態(tài)加密解決將敏感數(shù)據(jù)外包到不受信任的云服務(wù)器上計(jì)算的隱私和安全問題，同時(shí)支持非交互的操作，從而極大減小通信開銷。這種技術(shù)在許多實(shí)際應(yīng)用中具有巨大潛力，例如云協(xié)助的電子診療系統(tǒng)，神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)測試等。但大多數(shù)公鑰加密方案在處理多個(gè)密文數(shù)據(jù)時(shí)具有很大的計(jì)算開銷。

目前已有采用安全多方計(jì)算、差分隱私技術(shù)或同態(tài)加密方案保護(hù)聯(lián)合深度學(xué)習(xí)的用戶數(shù)據(jù)隱私的方案，在不同的場景呈現(xiàn)大量的研究進(jìn)展，但對于大規(guī)模用戶場景的聯(lián)合深度學(xué)習(xí)方案，現(xiàn)有方案在安全性，準(zhǔn)確性和效率方面仍表現(xiàn)出不足。采用安全多方計(jì)算在大規(guī)模的用戶下雖然保證了用戶的隱私，但極大的通信開銷限制了現(xiàn)實(shí)的應(yīng)用。典型的公鑰加密方案(如Pallier同態(tài)加密方案)在大量數(shù)據(jù)的聚合時(shí)呈現(xiàn)出極大的計(jì)算開銷，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程變慢。此外，差分隱私技術(shù)通過在訓(xùn)練數(shù)據(jù)或訓(xùn)練梯度上添加噪音保護(hù)數(shù)據(jù)隱私，為了實(shí)現(xiàn)安全性，導(dǎo)致模型精確度的降低。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明結(jié)合同態(tài)加密方案和差分隱私技術(shù)，提出了安全高效的聯(lián)合深度學(xué)習(xí)訓(xùn)練方法，保證訓(xùn)練模型的精確性和大規(guī)模用戶場景下的高效性，同時(shí)防止服務(wù)器推斷模型參數(shù)和訓(xùn)練數(shù)據(jù)隱私以及內(nèi)部攻擊獲取私密信息。

為解決上述問題，本發(fā)明的技術(shù)方案為：

1)系統(tǒng)初始化：系統(tǒng)生成安全參數(shù)λ，并為所有參與方分配相同的對稱密鑰sk＝(p,q)，同時(shí)公開參數(shù)N＝pq。云服務(wù)器初始化全局訓(xùn)練模型以及模型參數(shù)ω₀和學(xué)習(xí)速率η；

2)預(yù)處理：云服務(wù)器廣播初始化的模型參數(shù)ω₀。參與方1加密ω₀并將密文參數(shù)E(ω₀)返回至云服務(wù)器，使得云服務(wù)器持有最新的密文參數(shù)；

3)訓(xùn)練本地?cái)?shù)據(jù)：參與方下載全局訓(xùn)練模型，并利用私有數(shù)據(jù)集在本地進(jìn)行訓(xùn)練。在第t次訓(xùn)練，參與方μ選擇一個(gè)小批量數(shù)據(jù)訓(xùn)練模型，并根據(jù)定義好的損失函數(shù)計(jì)算訓(xùn)練誤差，從而計(jì)算本地梯度G_t,μ；