[發明專利]基于差分隱私的聯邦學習方法、裝置及電子設備

有效

• 申請號: 202011409580.1
• 申請日: 2020-12-06
• 公開（公告）號: CN112541592B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 熊濤;吳若凡;漆遠
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F21/62
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種基于差分隱私的聯邦學習方法及裝置、電子設備，該方法應用于任一終端設備，包括多次迭代，每次迭代包括：基于訓練數據和當前本地參數，確定待處理的第一梯度向量，該第一梯度向量的歐式范數小于等于預設范數，對第一梯度向量進行多級量化處理，得到第二梯度向量，在第二梯度向量的向量空間中，基于第二梯度向量，生成第一向量集合和第二向量集合，進行滿足差分隱私的采樣，以從第一向量集合或第二向量集合中隨機采樣出第三梯度向量。對第三梯度向量進行歸一化，得到目標梯度向量，并向服務器上傳目標梯度向量。能夠提高聯邦學習過程中的通訊效率，從而提高了聯邦學習的效率。

技術領域

本說明書一個或多個實施例涉及隱私保護技術領域，特別涉及一種基于差分隱私的聯邦學習方法、裝置及電子設備。

背景技術

機器學習所需要的數據往往會涉及到多個領域。例如在基于機器學習的商戶分類分析場景中，電子支付平臺擁有商戶的交易流水數據，電子商務平臺存儲有商戶的銷售數據，銀行機構擁有商戶的借貸數據。數據往往以孤島的形式存在。由于行業競爭、數據安全、用戶隱私等問題，數據整合面臨著很大阻力，如何更高效地將分散在各個平臺的數據整合在一起訓練機器學習模型具有尤為重要的意義。

發明內容

為了解決上述技術問題之一，本說明書一個或多個實施例提供一種基于差分隱私的聯邦學習方法、裝置及電子設備。

根據第一方面，提供一種基于差分隱私的聯邦學習方法，所述聯邦學習通過服務器和多個終端設備進行，所述方法應用于任一終端設備，所述方法包括多次迭代，其中，每次迭代包括：

從本地訓練集中選取訓練數據，并獲取服務器發送的當前本地參數；

基于所述訓練數據和所述當前本地參數，確定待處理的第一梯度向量，所述第一梯度向量的歐式范數小于等于預設范數U；

對所述第一梯度向量進行多級量化處理，得到第二梯度向量；

在所述第二梯度向量的向量空間中，基于所述第二梯度向量，生成第一向量集合和第二向量集合，使所述第一向量集合中的任一向量與所述第二梯度向量具有的相同向量分量的數量大于預設數量κ，使所述第二向量集合中的任一向量與所述第二梯度向量具有的相同向量分量的數量小于等于所述預設數量κ；

從所述第一向量集合或所述第二向量集合中隨機采樣出第三梯度向量；其中，從所述第一向量集合和從所述第二向量集合中采樣的概率分別為預設概率p和1-p；其中，所述預設概率p大于等于0.5；并且，所述預設數量κ和所述預設概率p的設定使所述采樣滿足差分隱私；

對所述第三梯度向量進行歸一化，得到目標梯度向量，并向所述服務器上傳所述目標梯度向量。

可選的，所述對所述第一梯度向量進行多級量化處理，得到第二梯度向量，包括：

將從-U到U的區間范圍平均分成多個子區間；

確定所述第一梯度向量的各個分量的值在所述多個子區間中各自對應的各個目標子區間；

基于預設的概率，隨機選取所述各個目標子區間的兩個端點中的任意一個端點，作為各個分量的修正值；

基于所述各個分量的修正值，獲取所述第二梯度向量。

可選的，所述基于所述訓練數據和所述當前本地參數，確定待處理的第一梯度向量，包括：

基于所述訓練數據和所述當前本地參數，確定當前本地梯度向量，所述當前本地梯度向量的歐式范數被規范到小于等于所述預設范數U；

從所述當前本地梯度向量的分量中隨機選取預設個數x個目標分量；

確定本次迭代的當前梯度殘差向量；

獲取所述當前梯度殘差向量在所述目標分量的方向上的目標殘差分量；