[發明專利]聯合更新模型的方法及裝置

在審

• 申請號: 202111007680.6
• 申請日: 2021-08-30
• 公開（公告）號: CN113657611A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 張爽;王力;陳岑;向立瑤
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N20/10
• 分類號: G06N20/10;G06K9/62;G06N3/04;G06N3/08;G06F21/60;G06F21/62
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種聯合更新模型的方法及裝置，聯合更新的模型由各個數據方分別在本地設置的各個本地模型以及第三方設置的全局模型構成。第三方為服務方或可信第三方。該模型架構可以適用縱向聯邦學習過程。即單個參與方持有訓練樣本的特征和標簽的部分數據。由于各個數據方還在本地設置有模擬攻擊模型，在聯合更新模型的單個周期，模擬攻擊模型和本地模型可以進行對抗訓練，使得本地模型向第三方提供的針對本地數據進行處理的本地輸出，基于對抗模擬攻擊模型的攻擊得到，從而保證隱私性。以上方案通過模擬攻擊模型參與的對抗訓練，有利于衡量聯邦學習過程的數據隱私性。

技術領域

本說明書一個或多個實施例涉及計算機技術領域，尤其涉及聯合更新模型的方法及裝置。

背景技術

隨著深度學習的飛速發展，人工智能技術正在幾乎每個行業中展示其優勢。然而大數據驅動的人工智能在現實情況中存在很多困難。例如數據孤島現象嚴重，利用率低且成本一直居高不下。一些行業的單一數據方還可能存在數據有限或數據質量較差的問題。另外，由于行業競爭，隱私安全和復雜的管理程序，即使同一公司的不同部門之間的數據集成也可能面臨著巨大的阻力，數據整合成本較高。聯邦學習正是在這樣的背景下提出的。聯邦學習是一種基于分布式機器學習的框架，主要思想是基于分布在多個設備上的數據集構建機器學習模型，同時防止數據泄露。在這種框架下，客戶端(例如移動設備)在中央服務器的協調下協作地訓練模型，同時訓練數據可保留在客戶端本地，無需像傳統機器學習方法將數據上傳至數據中心。

出于隱私考慮，參與聯邦學習的各數據方的本地私有數據都無需上傳至數據中心，而是直接存儲在本地，通過共享模型的參數或參數更新信息來保護每個客戶端的數據。但是作為訓練模型的一部分，這些共享的數據以外的其他信息(例如梯度信息)也可能相第三方或者中央服務泄露客戶端數據集的敏感信息，對數據的隱私造成一定的威脅。因此，數據的隱私性和準確性之間如何平衡，是聯邦學習的重要問題。

發明內容

本說明書一個或多個實施例描述了一種聯合更新模型的方法及裝置，用以解決背景技術提到的一個或多個問題。

根據第一方面，提供一種聯合更新模型的方法，適用于多個數據方基于隱私保護，在第三方的輔助下聯合訓練模型，所述模型對應各個數據方各自設置的本地模型，和設置在第三方的全局模型；在單個更新周期，所述方法包括：各個數據方分別執行以下本地訓練操作得到相應的中間結果：利用本地模型處理本地數據，得到本地輸出；基于本地數據和本地輸出，在本地模型和本地模擬攻擊模型之間進行對抗訓練；向第三方發送基于對抗訓練更新的本地模型對本地數據處理得到的中間結果；其中，所述本地攻擊模型用于推斷所述本地數據或其數據屬性；第三方獲取各個數據方分別發送的各個中間結果，并利用所述全局模型處理各個中間結果，以向各個數據方各自反饋相應的中間結果對應的梯度數據；各個數據方根據第三方反饋的梯度數據，調整本地模型的待定參數，從而更新本地模型。

根據第二方面，提供一種聯合更新模型的方法，適用于多個數據方基于隱私保護，在第三方的輔助下聯合訓練模型的過程，所述模型包括各個數據方各自設置的本地模型，和設置在第三方的全局模型；所述方法由所述多個數據方中的第一數據方執行，在單個更新周期，所述方法包括：利用本地模型處理本地數據，得到本地輸出；基于本地數據和本地輸出，在本地模型和本地模擬攻擊模型之間進行對抗訓練，所述本地攻擊模型用于推斷所述本地數據或其數據屬性；向第三方發送基于對抗訓練更新的本地模型對本地數據處理得到的第一中間結果，以供第三方利用所述全局模塊處理各個數據方分別發送的各個中間結果，從而反饋與第一中間結果相關的第一梯度數據；利用所述第一梯度數據確定本地模型中各個待定參數的梯度，以更新本地模型中的各個待定參數，從而更新本地模型。