[發明專利]一種隱私保護的神經網絡多方協作無損訓練方法及系統

有效

• 申請號: 202110560355.6
• 申請日: 2021-05-22
• 公開（公告）號: CN113435592B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 朱輝;趙家奇;胡國靖;王楓為;季琰;徐奇
• 申請（專利權）人: 西安電子科技大學;中移（蘇州）軟件技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F21/54;G06N3/04;G06N3/06
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于信息安全技術領域，公開了一種隱私保護的神經網絡多方協作無損訓練方法及系統，系統初始化，可信中心生成并分發系統參數、參與方私鑰和聚合服務器私鑰，聚合服務器生成神經網絡模型和訓練中的超參數；模型擾動和分發，聚合服務器對全局模型參數進行裁剪和打亂，并下發擾動后的模型；參與方用本地數據對收到的模型參數進行隨機梯度下降訓練，獲得本地更新，并使用參與方私鑰對本地更新進行加密后上傳給聚合服務器；聚合服務器對收到的各密文本地更新進行聚合、聚合服務器私鑰解密，得到聚合更新，并通過模型恢復得到新的全局模型參數。本發明能夠實現對訓練期間本地更新和全局模型參數中的敏感數據信息的隱私保護。

技術領域

本發明屬于信息安全技術領域，尤其涉及一種隱私保護的神經網絡多方協作無損訓練方法及系統。

背景技術

近年來，神經網絡在自然語言處理、計算機視覺和人機游戲等許多領域得到了廣泛的應用，給人們的生活帶來了極大的便利。與此同時，由于分布式設備生成的數據量爆炸性增長，再加上數據收集的隱私問題，Google提出了聯邦學習的方法，它可以在不共享本地數據的前提下在多個參與方的本地數據上協作訓練高質量的神經網絡模型。在聯邦學習的每輪訓練中，參與方用自己的數據對全局模型參數進行訓練，然后將獲得的本地更新發送到聚合服務器，以更新全局模型參數。然而在上述過程中，聚合服務器和參與方之間交換的本地更新和全局模型參數中仍包含參與方的敏感數據信息，面臨著成員推斷、類屬性推斷和特征推斷等多種推斷攻擊的威脅，存在著隱私泄露的風險。為了找出一種解決上述問題的方法，人們提出了一些解決方案，其中包括：

索信達(北京)數據技術有限公司申請的專利“一種基于聯邦學習的模型訓練方法及系統”(申請號CN202110015272.9公開號CN112333216A)公開了一種基于聯邦學習的模型訓練方法及系統，基于安全聚合算法，該方法可以保證模型訓練精度，同時保護參與方的隱私數據。該方法的不足之處在于：需要各參與方間點對點建立連接，應用場景受限；精確的全局模型在每輪訓練中被下發給各參與方，仍然面臨著推斷攻擊的風險，存在安全性不足的問題。

支付寶(杭州)信息技術有限公司申請的專利“基于差分隱私的聯邦學習方法、裝置及電子設備”(申請號CN202011409580.1公開號CN112541592A)公開了一種基于差分隱私的聯邦學習方法及裝置、電子設備，能夠提高聯邦學習過程中的通訊效率，從而提高了聯邦學習的效率。該方法的不足之處在于：需要向本地更新中加入差分隱私噪聲，會影響訓練模型的精度。

解決以上問題及缺陷的難度為：神經網絡模型的結構復雜，基于同態加密構造密文模型訓練方法非常困難。基于差分隱私等擾動方法構造的模型聚合和更新方法，存在著隱私性和可用性的平衡問題。神經網絡模型的規模龐大，訓練模型耗時較長，傳輸模型參數時需要穩定的連接和充足的帶寬，因此存在通信和計算開銷上的問題。

解決以上問題及缺陷的意義為：針對分布式場景中的數據安全問題，面向神經網絡模型設計一種隱私保護的多方協作無損訓練方法及系統，安全且精確地訓練高質量的神經網絡聯合模型，在隱私保護的前提下充分發揮用戶數據的巨大應用價值。

為了解決以上問題及缺陷，本發明采取的措施包括：

(1)本發明采用安全聚合方法使聚合服務器在聯邦學習過程中無法獲得參與方的本地更新，并通過神經元裁剪和打亂改變全局模型參數的順序和數值，使參與方無法通過比較連續的全局模型參數來推斷其他參與方的敏感數據，解決了模型訓練中安全性不足的問題。

(2)本發明中采用的模型擾動方法只會修剪并合并神經網絡中的冗余神經元，不會造成模型精度的損失，解決了差分隱私方法帶來的模型精度損失問題。

(3)本發明通過采用秘密共享技術，即使某些參與方在訓練中途退出，聚合服務器仍可以匯總參與方的本地更新。

發明內容

針對現有技術存在的問題，本發明提供了一種隱私保護的神經網絡多方協作無損訓練方法及系統。