[發明專利]聯合更新模型的方法及裝置

在審

• 申請號: 202111007680.6
• 申請日: 2021-08-30
• 公開（公告）號: CN113657611A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張爽;王力;陳岑;向立瑤
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/10
• 分類號: G06N20/10;G06K9/62;G06N3/04;G06N3/08;G06F21/60;G06F21/62
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種聯合更新模型的方法，適用于多個數據方基于隱私保護，在第三方的輔助下聯合訓練模型，所述模型對應各個數據方各自設置的本地模型，和設置在第三方的全局模型；在單個更新周期，所述方法包括：

各個數據方分別執行以下本地訓練操作得到相應的中間結果：利用本地模型處理本地數據，得到本地輸出；基于本地數據和本地輸出，在本地模型和本地模擬攻擊模型之間進行對抗訓練；向第三方發送基于對抗訓練更新的本地模型對本地數據處理得到的中間結果；其中，所述本地攻擊模型用于推斷所述本地數據或其數據屬性；

第三方獲取各個數據方分別發送的各個中間結果，并利用所述全局模型處理各個中間結果，以向各個數據方各自反饋相應的中間結果對應的梯度數據；

各個數據方根據第三方反饋的梯度數據，調整本地模型的待定參數，從而更新本地模型。

2.一種聯合更新模型的方法，適用于多個數據方基于隱私保護，在第三方的輔助下聯合訓練模型的過程，所述模型對應各個數據方各自設置的本地模型，和設置在第三方的全局模型；所述方法由所述多個數據方中的第一數據方執行，在單個更新周期，所述方法包括：

利用本地模型處理本地數據，得到本地輸出；

基于本地數據和本地輸出，在本地模型和本地模擬攻擊模型之間進行對抗訓練，所述本地攻擊模型用于推斷所述本地數據或其數據屬性；

向第三方發送基于對抗訓練更新的本地模型對本地數據處理得到的第一中間結果，以供第三方利用所述全局模塊處理各個數據方分別發送的各個中間結果，從而反饋與第一中間結果相關的第一梯度數據；

利用所述第一梯度數據確定本地模型中各個待定參數的梯度，以更新本地模型中的各個待定參數，從而更新本地模型。

3.根據權利要求2所述的方法，其中，當前周期使用本地模型處理的本地數據條數為n，本地模型針對n條本地數據分別得到相應的n個本地輸出，n為正整數；所述基于本地數據和本地輸出，在本地模型和本地模擬攻擊模型之間進行對抗訓練包括：

將n個本地輸出和n條本地數據一一對應構建n個訓練樣本，其中，本地輸出作為本地模擬攻擊模型的輸入特征，本地數據作為本地模擬攻擊模型的樣本標簽；

利用所述n個訓練樣本訓練本地模擬攻擊模型；

在本地模擬攻擊模型的待定參數收斂的情況下，通過對抗本地模擬攻擊模型對本地輸出的攻擊，調整所述本地模型的待定參數。

4.根據權利要求3所述的方法，其中，所述利用所述n個訓練樣本訓練本地模擬攻擊模型包括：

將各個本地輸出分別輸入本地模擬攻擊模型，得到相應的各個攻擊結果；

利用各個攻擊結果分別與相應的本地數據的對比，確定攻擊損失，其中，單個攻擊結果與單條本地數據的一致性越高，攻擊損失越小；

以減小攻擊損失為目標，調整本地模擬攻擊模型的待定參數。

5.根據權利要求3所述的方法，其中，所述通過對抗本地模擬攻擊模型對本地輸出的攻擊，調整所述本地模型的待定參數包括：

通過待定參數收斂的本地模擬攻擊模型處理各個本地輸出，得到分別針對各個本地輸出的各個攻擊結果；

基于各個攻擊結果與相對應的各條本地數據的對比，確定隱私損失，其中，單個攻擊結果與單條本地數據的一致性越低，隱私損失越小；

基于隱私損失確定本地模型在當前周期的本地損失，并以本地損失最小化為目標調整本地模型的待定參數。

6.根據權利要求5所述的方法，其中，所述本地損失還包括準確性損失，所述準確性損失與針對本地模型的待定參數的調整幅度正相關；所述基于隱私損失確定本地模型在當前周期的本地損失包括：

利用所述隱私損失和所述準確性損失的疊加結果確定所述本地損失。

7.根據權利要求2所述的方法，其中，所述第一梯度數據包括所述全局損失針對所述第一中間結果的第一梯度；所述利用所述第一梯度數據確定本地模型中各個待定參數的梯度包括：

確定所述第一中間結果分別針對本地模型中各個待定參數的各個第二梯度；

本地模型中各個待定參數的梯度分別為各個第二梯度與所述第一梯度的乘積。