[發明專利]一種聯邦學習模型的訓練方法及裝置

在審

• 申請號: 202010564409.1
• 申請日: 2020-06-19
• 公開（公告）號: CN111723947A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 劉楠;王玥琪;李曉麗;陳川;鄭子彬;嚴強;李輝忠
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司;中山大學
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張懷陽

本發明公開了一種聯邦學習模型的訓練方法及裝置，包括：客戶端獲取服務器廣播的第k?1次迭代的全局模型參數，其中，k為正整數，再將全局模型參數作為設有正則化約束的本地模型參數，使用本地數據進行第k次迭代訓練，得到第k次迭代訓練的本地模型參數，其中，正則化約束是根據服務器的全局模型參數和客戶端的本地模型參數確定的，通過正則化約束優化模型中的梯度，進而減小極端數據對本地模型參數訓練的影響，提高本地模型參數對非獨立同分布數據訓練的準確率，然后將第k次迭代訓練的本地模型參數發送給服務器，以使服務器更新第k次迭代的全局模型參數，提高全局模型參數對非獨立同分布數據訓練的準確率。

技術領域

本發明涉及金融科技(Fintech)領域，尤其涉及一種聯邦學習模型的訓練方法及裝置。

背景技術

隨著計算機技術的發展，越來越多的技術(例如：區塊鏈、云計算或大數據)應用在金融領域，傳統金融業正在逐步向金融科技轉變，大數據技術也不例外，但由于金融、支付行業的安全性、實時性要求，也對大數據技術提出的更高的要求。

現有技術的聯邦學習是通過傳輸參數的方式來進行節點之間的交流，在訓練過程中，通過參數平均的方式來整合各個節點數據提供的信息。聯邦學習在學習過程中，需要對數據進行訓練，并在每次開始隨機選擇節點，將全局模型發放給該節點，利用節點的數據進行迭代，然后將訓練得到的模型參數發回給中心服務器，中心服務器對各個節點訓練得到的模型參數進行平均確定出下一次迭代的模型。

但在現有技術中的聯邦學習中，使用非獨立同分布的數據訓練出來的模型準確率低，效果不佳。因此，需一種方法提高非獨立同分布的數據模型參數訓練準確率。

發明內容

本發明實施例提供一種聯邦學習模型的訓練方法及裝置，用于提高非獨立同分布的數據訓練出來的模型的準確率，優化根據非獨立同分布的數據訓練出來的模型。

第一方面，本發明實施例提供一種聯邦學習模型的訓練方法，包括：

客戶端獲取服務器廣播的第k-1次迭代的全局模型參數；所述k為正整數；

所述客戶端將所述全局模型參數作為設有正則化約束的本地模型參數，使用本地數據進行第k次迭代訓練，得到第k次迭代訓練的本地模型參數；所述正則化約束是根據所述服務器的全局模型參數和所述客戶端的本地模型參數確定的；

所述客戶端將所述第k次迭代訓練的本地模型參數發送給所述服務器，以使所述服務器更新第k次迭代的所述全局模型參數。

上述技術方案中，客戶端獲取k-1次迭代的全局模型參數，在k為1時，即全局模型參數為初始的全局模型參數，將初始的全局模型參數設置一個正則化約束，作為本地模型參數，以使在迭代過程中全局模型參數和本地模型參數都存在有正則化約束，在本地模型參數對本地的數據進行訓練時，約束本地模型參數的損失函數，優化本地模型參數的梯度，進而減小本地數據中極端數據對本地模型參數的訓練結果的影響，提高本地模型參數對非獨立同分布數據訓練的準確率，得到第k次迭代訓練的本地模型，再將第k次迭代訓練的本地模型參數發送給服務器，以使服務器更新第k次迭代的全局模型參數，進而提高全局模型參數對非獨立同分布數據訓練的準確率。

可選的，所述根據所述服務器的全局模型參數和所述客戶端的本地模型參數確定的所述正則化約束，包括：

對所述全局模型參數與所述本地模型參數的差值進行F范數計算，得到所述正則化約束。

上述技術方案，根據全局模型參數與本地模型參數得到正則化約束，用于優化本地模型參數中的損失函數，提高本地模型參數對非獨立同分布數據訓練的準確率。

可選的，根據下述公式(1)確定出所述本地模型參數的最終損失函數；