[發明專利]一種非獨立同分布數據場景下的聯邦學習隱私保護方法

在審

• 申請號: 202211081816.2
• 申請日: 2022-08-31
• 公開（公告）號: CN115374479A
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 張軼凡;張一晉;馬川
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06K9/62
• 代理公司: 南京鼎傲知識產權代理事務所(普通合伙) 32327
• 代理人: 劉藹民

本發明屬于隱私保護技術領域，具體涉及一種非獨立同分布數據場景下的聯邦學習隱私保護方法。本發明將聯邦學習模型與生成對抗神經網絡相結合，解決了聯邦學習在非獨立同分布場景下訓練難收斂的問題，降低聯邦學習框架內各終端的通信損耗，可以在聯邦各終端算力較低的情況下提高機器利用率和學習效率。本發明所使用的ViTGAN生成對抗網絡生成的近似真實數據分布的虛假數據，能夠滿足本地用戶的隱私保證，加快聯邦學習的收斂速度和降低訓練通信負載，提升聯邦學習訓練好的全局模型和測試精度，同時解決聯邦學習易受到推理攻擊的問題。

技術領域

本發明涉及聯邦學習隱私保護技術領域，尤其是涉及一種基于非獨立同分布數據場景下的聯邦學習隱私保護方法。

背景技術

隨著大數據、人工智能、云計算等新技術在各行業不斷深入應用，全球數據呈現爆發增長、海量聚集的特點，數據的價值愈發凸顯。數據作為生產要素的流通交易，面臨確權和隱私保護兩大關鍵難題。數據本質上是信息，不具備獨享性或專享性，多數人可同時擁有。大數據時代，與個人有關的信息傳播邊際成本微乎其微，能夠迅速傳遍整個世界，這種低成本使得數據保護面臨特殊困難。目前，公司和組織等越來越多地收集用戶的詳細信息，一方面，能夠通過這些屬于不同組織的原始數據抽取出有價值的信息，這些信息能通過機器學習技術來提升產品、服務和福利的質量；另一方面，在分布式場景下會存在潛在的濫用和攻擊行為，這對數據隱私和安全帶來了極大地挑戰。傳統從用戶端收集數據整合后訓練機器學習模型的方式被擔憂可能會侵犯隱私。

聯邦學習為解決用戶間隱私問題而產生，能夠在盡量不影響效率的情況下實現隱私保護的聯合機器學習。相較于將所有的本地數據發送給中央模型，聯邦學習將模型分配給每一個設客戶端去協助各設備進行模型的訓練。在聯邦學習中，服務器負責將所有設備終端中的模型融合成一個全局模型，以及將全局模型下發給所有的終端設備。在模型訓練過程中，各終端設備只將本地訓練得到的模型更新信息上傳至服務器用以進行模型權重的聚合，從而能夠實現各終端設備本地數據的隱私保護以及降低系統整體的通信開銷。

盡管聯邦學習在各設備終端的協作機器學習中有很大的應用價值，但是它極大地受困于各設備終端的數據分布不一致的缺點。當各終端設備收取的數據分布屬于獨立同分布時，由于各設備終端中的本地模型訓練得到的隨機梯度是對整體梯度的無偏估計，所以傳統的聯邦學習能夠表現出卓越的性能。但是當系統中各設備收取的數據分布為偏斜的非獨立同分布時，各設備終端中的模型在訓練中就會向不同的方向收斂優化。由于各設備終端梯度發散的現象，在這種數據分布的情況下，傳統聯邦學習的精度會劇烈下降。另外，相較于在獨立同分布的數據場景下，當各終端設備中的數據屬于非獨立同分布時，傳統的聯邦學習需要更多的信息溝通輪數達到全局模型的收斂，這也會給設備貧瘠的網絡帶寬增加巨大的壓力。

因此，需要一種新的聯邦學習隱私保護方法來進一步提升隱私保護的效果，從而達到更佳的性能。

發明內容

鑒于上述，本發明的目的在于提供一種非獨立同分布數據場景下的聯邦學習隱私保護方法，在保障用戶數據安全的基礎上，進一步提升特定場景下聯邦學習系統的實用性和有效性，同時解決聯邦學習系統的通信效率及損耗問題。

為實現上述發明目的，實施例提供了一種非獨立同分布數據場景下的聯邦學習隱私保護方法，包括ViTGAN網絡、多個客戶端和中心服務器，每個客戶端與中心服務器建有通信通道，具體步驟為：