[發明專利]面向聯邦學習的隱私保護方法及裝置

有效

• 申請號: 202011523140.9
• 申請日: 2020-12-21
• 公開（公告）號: CN112668044B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 牛犇;李鳳華;張立坤;陳亞虹
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/20
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 馬瑞

本發明實施例提供了一種面向聯邦學習的隱私保護方法及裝置，包括：設定參數步驟、數據劃分步驟、第一訓練步驟、第二訓練步驟、第一計算步驟、第二計算步驟以及生成對抗樣本步驟。本實施例采用對抗樣本的思想，在參數更新中加入一定量噪聲擾亂參數的分布特征，使之通過隱私屬性推斷模型后以用戶期望的概率分布隨機輸出隱私推斷結果，以抵御隱私屬性推斷攻擊，從而緩解聯邦學習的隱私屬性泄露問題。

技術領域

本發明涉及計算機技術領域，尤其涉及一種面向聯邦學習的隱私保護方法及裝置。

背景技術

聯邦學習(Federated Learning,FL)作為一種分布式的深度學習方法，能夠在一定程度上兼顧效率、準確性與隱私性，從而得到了廣泛的關注。聯邦學習的主要流程為：服務器隨機為全局模型參數賦值以進行初始化，并將模型分發給各個用戶，用戶各自在本地利用自己的數據訓練模型，然后將模型更新的參數發送回服務器，服務器據此更新全局模型并再次分發給用戶，然后再進行新一輪的迭代更新。在此過程中，由于服務器只采集用戶模型的參數而非原始數據，更有利于數據隱私保護。此外，不同用戶共同參與訓練增強了模型泛化性與訓練效率，同時實現了用戶端的個性化模型訓練。

然而，盡管參與聯邦學習的用戶不必直接向服務器提交訓練數據，但用戶發送的參數仍然能夠間接造成隱私泄露。這種隱私泄露問題在各用戶數據非同分布下的情形下尤為突出：此時，不同用戶的數據往往具有不同的隱私屬性，例如對于不同性別、種族或收入水平的用戶，其購物數據在分布上會存在一定差異，這種差異進而在用戶的模型訓練階段影響目標模型的參數分布，利用不同用戶之間參數分布的差異，攻擊者(包括外部惡意用戶和不可信服務器)便能夠推斷用戶的性別、人種或收入水平等信息，給用戶隱私帶來較大威脅。具體的推斷方法是利用一些已知的參數向量作為訓練數據，將其對應的隱私屬性作為訓練數據標簽，訓練一個隱私屬性分類器，以此通過用戶發送的參數來推斷用戶數據具有的隱私屬性。因此，在聯邦學習場景中，如何充分保證全局模型的準確性，同時防止模型參數交換而導致的隱私泄漏是亟待解決的問題。

為了解決上述隱私問題，目前已提出了多種保護技術，如同態加密、安全多方計算和差分隱私等技術，這些方案都在一定程度上保護了用戶的隱私。在上述保護方案中，基于同態加密的方法提供了可靠的安全性和準確性保證。然而，同態加密算法往往具有很高的計算復雜度，使用效率低，參數的通信開銷大，且密鑰管理機制復雜，因此難以對其進行推廣及應用。而安全多方計算和差分技術因其較強的理論支撐與易實施的性能優勢，得到了廣泛的應用。Abadi等提出將差分隱私應用于深度學習的梯度下降算法中，以確保無法由模型參數還原真實的訓練數據。但是，該算法要求每個用戶獨立地向梯度添加噪聲，對聚合模型的準確性影響較大。Bonawitz等利用安全多方計算協議設計的聯邦學習架構，保證所有參與學習的用戶都能共享相同的全局模型，且服務器只能獲取更新后的全局模型，而無法獲取任一用戶提交的真實參數，但此方案無法抵御參與者之間的共謀攻擊。為了彌補以上缺陷，Truex等將差分隱私和多方計算結合，減小了噪聲量，保證了模型準確性和隱私性，同時能夠抵御用戶之間的共謀威脅。綜上所述，現有聯邦學習隱私保護方案難以很好地兼顧準確性、隱私性和通用性。基于差分隱私的保護方案在保證隱私性需要在用戶訓練模型階段在梯度上添加大量噪聲，犧牲了聚合后全局模型的準確性，且差分隱私無法針對性地保護訓練數據本身的隱私；將差分隱私與安全多方計算結合后，即便準確性有了提升，但是由于安全多方計算協議每一輪結果的正確計算都需要滿足一定數量的用戶同時在線進行模型訓練和聚合，因此不適用于異步聯邦學習的更新模式，此外，多方計算中引入的同態加密技術使得運算效率大大降低。

發明內容

針對現有技術中存在的問題，本發明實施例提供一種面向聯邦學習的隱私保護方法及裝置。

第一方面，本發明實施例提供一種面向聯邦學習的隱私保護方法，包括：