[發明專利]一種非交互式的隱私保護邏輯回歸聯邦訓練方法及系統

有效

• 申請號: 202110561403.3
• 申請日: 2021-05-22
• 公開（公告）號: CN113434898B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 朱輝;王二梅;宛海濤;王楓為;李臨風;涂敬偉;趙家奇
• 申請（專利權）人: 西安電子科技大學;中移（蘇州）軟件技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F21/57;G06F21/60;G06N20/00
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于信息安全技術領域，公開了一種非交互式的隱私保護邏輯回歸聯邦訓練方法及系統，所述非交互式的隱私保護邏輯回歸聯邦訓練方法包括：系統初始化與數據歸一化；數據預處理和本地訓練數據加密；密文訓練數據聚合與解密；邏輯回歸訓練與測試。本發明采用非交互式的聯邦學習邏輯回歸訓練方法，用戶不必保證每輪訓練過程的在線狀態也不必耗費本地資源去參與訓練，用戶只需在最開始的時候對數據進行預處理與加密，將加密后的數據交由云服務提供商即可，由云服務提供商完成數據的聚合與解密，對全局數據集進行訓練，最終得到全局的高效模型，實現本地數據的隱私保護和非交互式的聯邦學習邏輯回歸訓練機制，能提供高效的服務。

技術領域

本發明屬于信息安全技術領域，尤其涉及一種非交互式的隱私保護邏輯回歸聯邦訓練方法及系統。

背景技術

目前，隨著大數據時代的到來與機器學習技術的發展，聯邦學習也得到了越來越廣泛地運用。大數據時代，不可避免地會出現數據孤島的問題，即數據間彼此孤立、同時被不同組織所擁有并且不能被輕易地聚合在一起的問題，由此提出了聯邦學習的概念，即聯合構建機器學習模型的方法。聯邦學習的優勢在于它既能幫助多個參與方共同搭建共享的高性能模型，還能最大化地利用云系統下終端設備的計算能力。

但是傳統的聯邦學習訓練采用的是用戶在本地對自己擁有的數據進行訓練得到本地模型更新參數，然后將本地模型更新參數上傳給服務器，由服務器完成各個本地模型更新參數的聚合并返回給用戶。采取這樣的訓練方式要求用戶必須保證每輪訓練都在線并且需要消耗大量本地資源去進行訓練，同時用戶上傳的本地模型更新參數并未進行加密保護，會造成用戶數據在一定程度上的泄露的問題。

現有技術為了實現高效的隱私保護的基于橫向聯邦學習的邏輯回歸方案，通常現有的技術是通過用戶在本地對數據進行訓練，然后將得到的梯度參數加密之后上傳給服務器的方式。但是會存在各數據擁有者的敏感數據(例如樣本數據、統計分析數據等)并未得到保護，存在敏感信息泄露的風險。

具體來說，例如同盾控股有限公司的專利“聯邦學習的方法、裝置及系統”(申請號202010370086.2申請公布號CN 111553484 A)一種聯邦學習的方法、裝置及系統，可以解決現有的聯邦學習系統中網絡傳輸開銷大以及數據不安全的問題中至少一個問題。該方法的不足之處在于：只能解決數據傳輸中開銷大的問題，以及通過傳輸更新梯度的最后幾層也可以有效的避免根據全部的更新梯度得到客戶端本地原始數據的風險，達到了對更新的梯度保密的效果，但沒有對傳輸過程的中的梯度進行密碼學保護，存在安全性不足的問題。

具體來說，例如哈爾濱工業大學(深圳)申請的專利“一種聯邦學習的模型分發與聚合的傳輸調度方法”(申請號202011059108.X申請公布號CN112183767A)公開了一種多密鑰下模型聚合的聯邦學習方法及相關設備，用于在多方協同訓練機器學習模型時，保障各個數據公司的數據樣本不被公開。但是由于訓練訓練的過程需要用戶一直保持在線，并且每輪迭代都需要進行一次通信，增加了通信開銷。

通過上述分析，現有技術存在的問題及缺陷為：

(1)傳統的聯邦學習訓練方法沒有對用戶上傳的本地模型更新參數進行加密保護，會造成用戶數據在一定程度上的泄露的問題。

(2)現有的聯邦學習邏輯回歸訓練方案，存在安全性不足，不能支持邏輯回歸模型訓練過程中數據保護的問題。

(3)同時，現有的聯邦學習邏輯回歸訓練方案大多數未針對非交互式的場景，需要用戶一直保持在線的狀態，消耗用戶本地的計算資源。

解決以上問題及缺陷的難度為：

(1)現存同態加密技術難以用于非交互式計算場景，不能為多數據源提供有效的隱私保護。

(2)要對用戶上傳的本地模型更新參數進行加密保護，則需要用到同態加密的密碼學保護方法，會在一定程度上降低模型的準確度以及會加大通信和計算開銷。