[發明專利]基于聯邦學習的數據處理方法、裝置、設備及存儲介質

有效

• 申請號: 201911158849.0
• 申請日: 2019-11-22
• 公開（公告）號: CN110942154B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 黃安埠
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 彭燕

本申請提供一種基于聯邦學習的數據處理方法、裝置、設備及存儲介質，涉及機器學習技術領域，用以解決訓練聯邦模型時的系統性能較差的問題；該方法包括：至少一個客戶端通過本地樣本生成器學習本地數據的數據特性，獲得訓練樣本生成器并發送給服務器；服務器將至少一個客戶端發送的訓練樣本生成器進行聯邦聚合，得到聯邦樣本生成器并發送給至少一個客戶端；至少一個客戶端通過聯邦樣本生成器生成與其他客戶端本地數據的數據特征一致的第一虛擬數據，將自身的本地數據和第一虛擬數據確定為目標數據。該方法中降低訓練聯邦模型的數據計算量，降低訓練聯邦模型所消耗的系統資源，提升訓練聯邦模型時的系統性能以及提升聯邦模型的訓練效率。

技術領域

本申請涉及機器學習技術領域，尤其涉及一種基于聯邦學習的數據處理方法、裝置、設備及存儲介質。

背景技術

聯邦學習架構中的多個客戶端在模型訓練時不用給出己方數據，而是根據服務器下發的參數加密的全局的聯邦模型和客戶端本地數據來訓練本地模型，并返回本地模型供服務器進行聯邦聚合得到全局的聯邦模型，更新后的聯邦模型重新下發到客戶端，循環往復，直到收斂。

但是由于多個客戶端的本地數據的數據特征很有可能完全不一致，或者彼此差距較大，導致訓練出滿足需求的聯邦模型需要大量的迭代計算，需要消耗較多的系統資源，導致訓練聯邦模型時的系統性能較差。

發明內容

本申請提供一種基于聯邦學習的數據處理方法、裝置、設備及存儲介質，以至少降低訓練聯邦模型的數據計算量，降低訓練聯邦模型所消耗的系統資源，從而提升訓練聯邦模型時的系統性能。

本申請第一方面，提供一種聯邦學習的數據處理方法，包括：

客戶端通過本地樣本生成器學習本地數據的數據特性，獲得訓練樣本生成器，并將所述訓練樣本生成器發送給服務器；

接收服務器發送的聯邦樣本生成器，所述聯邦樣本生成器是所述服務器通過聯邦聚合所述訓練樣本生成器以及其他客戶端的訓練樣本生成器得到的；

通過所述聯邦樣本生成器生成與其他客戶端本地數據的數據特征一致的第一虛擬數據，將所述本地數據和所述第一虛擬數據確定為目標數據。

在一種可能的實現方式中，所述將所述本地數據和所述第一虛擬數據確定為目標數據之后，還包括：

將所述目標數據作為輸入信息，將訓練模型作為輸出信息對本地模型進行訓練；

將所述訓練模型發送給所述服務器，并接收聯邦模型，所述聯邦模型是所述服務器通過聯邦聚合所述訓練模型和其他客戶端的訓練模型得到的。

在一種可能的實現方式中，所述客戶端通過本地樣本生成器學習本地數據的數據特性，獲得訓練樣本生成器，包括：

通過本地樣本生成器生成第二虛擬數據，并通過本地樣本判別器判斷所述第二虛擬數據的數據特征和所述本地數據的數據特征是否一致；

若不一致，則根據所述第二虛擬數據和所述本地數據，對所述本地樣本判別器進行訓練，得到訓練樣本判別器，并通過所述訓練樣本判別器和所述本地數據對本地樣本生成器進行訓練，得到所述訓練樣本生成器。

在一種可能的實現方式中，所述通過所述聯邦樣本生成器生成第一虛擬數據之前，還包括：

若接收到重新訓練生成器通知，則將所述聯邦樣本生成器作為本地樣本生成器，通過本地樣本生成器學習本地數據的數據特性，獲得新的訓練樣本生成器，并將重新獲得的訓練樣本生成器發送給所述服務器；所述重新訓練生成器通知是所述服務器確定聯邦樣本生成器生成的第三虛擬數據的數據特征與預設本地數據的數據特征的偏差值大于預設偏差值后發送的，所述預設本地數據包括所述客戶端的本地數據和其他客戶端的本地數據。

本申請第二方面，提供一種聯邦學習的數據處理方法，包括：