[發明專利]實現隱私保護的多方協同更新模型的方法、裝置及系統

有效

• 申請號: 202110657041.8
• 申請日: 2021-06-11
• 公開（公告）號: CN113221183B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 呂靈娟
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種實現隱私保護的多方協同更新模型的方法，所述多方包括服務器和n個參與方；所述方法包括多輪迭代，其中任意的第t輪迭代包括：

每個參與方i根據本地樣本集以及當前模型參數，確定對應的局部梯度向量；

每個參與方i利用滿足差分隱私的隨機化算法，對所述局部梯度向量中的各元素進行隨機二值化處理，得到擾動梯度向量；

每個參與方i將各自確定的擾動梯度向量發送給所述服務器；

所述服務器聚合所述n個參與方發送的n份擾動梯度向量，并根據當前聚合結果中各元素的正負號，對各元素進行二值化表示，得到目標梯度向量；

每個參與方i從所述服務器接收所述目標梯度向量，并根據所述目標梯度向量更新當前模型參數，以用于下一輪迭代；

在所述多輪迭代后，每個參與方i將其得到的當前模型參數，作為其與其它參與方協同更新的業務預測模型；

其中，所述根據當前聚合結果中各元素的正負號，對各元素進行二值化表示，包括：

在當前聚合結果上疊加當前誤差補償向量，得到疊加結果；

利用符號函數，基于所述疊加結果中各元素的正負號，對各元素進行二值化表示；

其中，所述當前誤差補償向量，通過在前一輪誤差補償向量上，疊加前一輪聚合結果與前一輪聚合結果對應的二值化表示結果之間的差值得到。

2.根據權利要求1所述的方法，其中，所述局部梯度向量包括第一元素；每個參與方i利用滿足差分隱私的隨機化算法，對所述局部梯度向量中的各元素進行隨機二值化處理，包括：

根據第一元素的值確定第一概率，所述第一概率與所述第一元素的值大小正相關；

以所述第一概率將所述第一元素的值轉換為1，以第二概率將所述第一元素的值轉換為-1，其中，所述第一概率和第二概率之和為1。

3.根據權利要求2所述的方法，其中，所述根據第一元素的值確定第一概率，包括：

在所述第一元素的值上添加噪聲值；

根據添加噪聲值后的第一元素的值，利用高斯分布的累積分布函數，確定第一概率。

4.根據權利要求3所述的方法，其中，所述噪聲值是從期望值為0、方差為σ²的高斯分布中隨機采樣得到；所述σ至少根據全局敏感度與兩個差分隱私參數的比例的乘積確定。

5.根據權利要求4所述的方法，其中，所述兩個差分隱私參數為隱私預算ε和松弛項δ。

6.根據權利要求3所述的方法，其中，所述噪聲值是從期望值為0、方差為σ²的高斯分布中隨機采樣得到，所述σ滿足如下約束條件：

利用所述累積分布函數針對至少基于所述σ確定的函數最大邊界值計算的第三概率，與利用所述累積分布函數針對至少基于所述σ確定的函數最小邊界值計算的第四概率相接近。

7.根據權利要求6所述的方法，其中，所述函數最大邊界值是根據全局敏感度與所述σ確定的第一比例，與根據隱私預算ε和所述σ的乘積與全局敏感度確定的第二比例的差值；所述函數最小邊界值是所述第一比例的相反數與所述第二比例的差值。

8.根據權利要求1所述的方法，其中，

任意的參與方i本地樣本集中的樣本為圖片，所述業務預測模型為圖片識別模型；或者，

任意的參與方i本地樣本集中的樣本為音頻，所述業務預測模型為音頻識別模型；或者，

任意的參與方i本地樣本集中的樣本為文本，所述業務預測模型為文本識別模型。