[發明專利]基于差分隱私的聯邦學習方法、裝置及電子設備

有效

• 申請號: 202011409580.1
• 申請日: 2020-12-06
• 公開（公告）號: CN112541592B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 熊濤;吳若凡;漆遠
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F21/62
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種基于差分隱私的聯邦學習方法，所述聯邦學習通過服務器和多個終端設備進行，所述方法應用于任一終端設備，所述方法包括多次迭代，其中，每次迭代包括：

從本地訓練集中選取訓練數據，并獲取服務器發送的當前本地參數；

基于所述訓練數據和所述當前本地參數，確定待處理的第一梯度向量，所述第一梯度向量的歐式范數小于等于預設范數U；

對所述第一梯度向量進行多級量化處理，得到第二梯度向量；

在所述第二梯度向量的向量空間中，基于所述第二梯度向量，生成第一向量集合和第二向量集合，使所述第一向量集合中的任一向量與所述第二梯度向量具有的相同向量分量的數量大于預設數量κ，使所述第二向量集合中的任一向量與所述第二梯度向量具有的相同向量分量的數量小于等于所述預設數量κ；

從所述第一向量集合或所述第二向量集合中隨機采樣出第三梯度向量；其中，從所述第一向量集合和從所述第二向量集合中采樣的概率分別為預設概率p和1-p；其中，所述預設概率p大于等于0.5；并且，所述預設數量κ和所述預設概率p的設定使所述采樣滿足差分隱私；

對所述第三梯度向量進行歸一化，得到目標梯度向量，并向所述服務器上傳所述目標梯度向量。

2.根據權利要求1所述的方法，其中，所述對所述第一梯度向量進行多級量化處理，得到第二梯度向量，包括：

將從-U到U的區間范圍平均分成多個子區間；

確定所述第一梯度向量的各個分量的值在所述多個子區間中各自對應的各個目標子區間；

基于預設的概率，隨機選取所述各個目標子區間的兩個端點中的任意一個端點，作為各個分量的修正值；

基于所述各個分量的修正值，獲取所述第二梯度向量。

3.根據權利要求1所述的方法，其中，所述基于所述訓練數據和所述當前本地參數，確定待處理的第一梯度向量，包括：

基于所述訓練數據和所述當前本地參數，確定當前本地梯度向量，所述當前本地梯度向量的歐式范數被規范到小于等于所述預設范數U；

從所述當前本地梯度向量的分量中隨機選取預設個數x個目標分量；

確定本次迭代的當前梯度殘差向量；

獲取所述當前梯度殘差向量在所述目標分量的方向上的目標殘差分量；

基于所述目標分量和所述目標殘差分量，確定所述第一梯度向量。

4.根據權利要求3所述的方法，其中，首次迭代時，所述當前梯度殘差向量為0；非首次迭代時，所述當前梯度殘差向量為第一向量部分與預設的第一修正因子的乘積和第二向量部分之和；所述第一向量部分為上次迭代中的本地梯度向量除掉上次迭代中的目標分量以外的分量部分；所述第二向量部分為上次迭代中的梯度殘差向量除掉上次迭代中的目標殘差分量以外的分量部分。

5.根據權利要求3所述的方法，其中，所述基于所述目標分量和所述目標殘差分量，確定所述第一梯度向量，包括：

確定目標旋轉矩陣，所述目標旋轉矩陣為正交矩陣；

計算所述目標分量和預設的第二修正因子的乘積與所述目標殘差分量之和，并利用所述目標旋轉矩陣乘以所述計算的結果，得到所述第一梯度向量。

6.根據權利要求5所述的方法，其中，所述確定目標旋轉矩陣，包括：

生成目標對角矩陣；所述目標對角矩陣的對角元素為0.5；

獲取目標沃爾什-阿達瑪矩陣；

利用所述目標沃爾什-阿達瑪矩陣乘以所述目標對角矩陣，并除以所述預設個數x。