[發明專利]聯邦學習的過程中模型參數的處理方法、裝置及相關設備

在審

• 申請號: 202011642633.4
• 申請日: 2020-12-29
• 公開（公告）號: CN112765559A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 朱星華;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/18
• 分類號: G06F17/18;G06Q10/06;G06N20/20
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 代文成

本發明公開了一種聯邦學習的過程中模型參數的處理方法，應用于人工智能技術領域，用于解決在聯邦學習的過程中，模型參數的梯度與樣本數據之間的互信息表示過大時用戶隱私數據容易泄露的技術問題。本發明提供的方法包括：對用于訓練本地模型的樣本數據集進行采樣，得到多個采樣樣本；獲取通過該多個采樣樣本對該本地模型進行訓練得到的參數的梯度；將該采樣樣本及該參數的梯度輸入預先訓練好的統計模型，得到該樣本數據集與該梯度之間的互信息值；當該互信息值大于等于預設值時，發送上傳該參數的梯度存在隱私泄露的風險提醒；當該互信息值小于該預設值時，將該參數的梯度上傳至服務器。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種聯邦學習的過程中模型參數的處理方法、裝置、計算機設備及存儲介質。

背景技術

目前，聯邦學習系統主要分為橫向聯邦學習和縱向聯邦學習。在橫向聯邦學習系統中，每個參與方利用本地數據對本地模型進行訓練，各參與方將訓練好的本地模型的參數的梯度上傳至中央服務器，中央服務器聚合各參與方的參數的梯度對模型進行更新，最終將更新后的模型返回給各參與方，這種方式通過直接傳遞模型參數的梯度可以避免在傳遞用戶樣本數據的過程中，用戶樣本數據被竊取導致用戶的隱私數據泄露。

然而，在模型參數的梯度上傳的過程中，并沒有一種合適的度量機制去衡量每一個參與者所面臨的隱私泄露風險，模型參數及該參數的梯度雖然與用戶的樣本隱私數據不相同，但是該參數也是通過用戶的樣本數據得到的，該參數梯度與用戶的隱私數據仍具有相關性，通過僅上傳模型參數并不能夠完全保證用戶信息安全且不被泄露，從而導致在參與整個聯邦學習的過程中存在安全性的隱憂，影響參與者的積極性，最終影響整個聯邦學習系統的性能。

發明內容

本發明實施例提供一種聯邦學習的過程中模型參數的處理方法、裝置、計算機設備及存儲介質，以解決在聯邦學習的過程中，模型參數的梯度與樣本數據之間的互信息表示過大時用戶隱私數據容易泄露的技術問題。

一種聯邦學習的過程中模型參數的處理方法，該方法包括：

對用于訓練本地模型的樣本數據集進行采樣，得到多個采樣樣本；

獲取通過該多個采樣樣本對該本地模型進行訓練得到的參數的梯度；

將該采樣樣本及該參數的梯度輸入預先訓練好的統計模型，得到該樣本數據集與該梯度之間的互信息值；

當該互信息值大于等于預設值時，發送上傳該參數的梯度存在隱私泄露的風險提醒；

當該互信息值小于該預設值時，將該參數的梯度上傳至服務器。

一種聯邦學習的過程中模型參數的處理裝置，該裝置包括：

采樣模塊，用于對用于訓練本地模型的樣本數據集進行采樣，得到多個采樣樣本；

梯度獲取模塊，用于獲取通過該多個采樣樣本對該本地模型進行訓練得到的參數的梯度；

互信息值計算模塊，用于將該采樣樣本及該參數的梯度輸入預先訓練好的統計模型，得到該樣本數據集與該梯度之間的互信息值；

風險發送模塊，用于當該互信息值大于等于預設值時，發送上傳該參數的梯度存在隱私泄露的風險提醒；

上傳模塊，用于當該互信息值小于該預設值時，將該參數的梯度上傳至服務器。

一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述聯邦學習的過程中模型參數的處理方法的步驟。

一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述聯邦學習的過程中模型參數的處理方法的步驟。