[發明專利]基于Spark集群和Ring-AllReduce架構的分布式聯邦學習方法

有效

• 申請號: 202210903965.6
• 申請日: 2022-07-28
• 公開（公告）號: CN115249074B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 夏長達;夏家駿;張子揚;張珣;沈敏均;張佳辰
• 申請（專利權）人: 上海光之樹科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/20
• 代理公司: 深圳珠峰知識產權代理有限公司 44899
• 代理人: 黃偉

本發明公開了一種基于Spark集群和Ring?AllReduce架構的分布式聯邦學習方法，通過在聯邦學習中集成Spark集群并融入Ring?AllReduce分布式訓練架構，保證了在正常進行聯邦訓練過程中，不必將集群擴展為聯邦訓練的客戶端節點，由客戶端自由選擇調用集群環境進行分布式訓練，避免了聯邦學習的服務端對客戶端的集群環境的管理，簡化了計算架構。同時采用Ring?AllReduce架構減少了通信成本，避免了集群內并行機器數量過多導致的通信成本增加的問題。

技術領域

本發明涉及深度學習技術領域，具體涉及一種基于Spark集群和Ring-AllReduce架構的分布式聯邦學習方法。

背景技術

聯邦學習是保證數據安全的前提下聯合多方進行建模的一種學習方式，Spark則是專為大規模數據處理而設計的快速通用的計算引擎。Ring-AllReduce架構，是并行計算的一種通信最優方案，可以保證并行計算時通信成本的基本恒定，避免了通信成本隨并行數目的增加而線性增長。

目前，多個機構聯合進行模型訓練時，很多時候數據量(如時間序列數據)是巨大的，這時就需要充分利用多機進行并行計算來降低整個聯邦訓練的耗時，但隨著機器的增多，也會帶來更高的通信成本，可能使得并行計算變得不切實際降低了模型訓練的效率。例如，目前，TensorFlow?Federate框架主要采用TensorFlow的keras模型進行訓練，訓練過程如下：

首先，服務端定義好keras模型M；

然后，服務端將模型M進行序列化得到序列化模型S，并發送給各客戶端；

最后，客戶端對序列化模型S反序列化得到模型M，并讀取本地數據為模型樣本進行訓練。

而分布式機器學習通常采用數據并行的模式。數據并行的架構主要采用PS-Worker架構，在一些常用的機器學習包如TensorFlow、pytorch、paddle等中都有一些相應的api，通過在分布式工作節點中安裝這些api，可以在多機/多卡上實現分布式計算，相比之下，這些機器學習包中對分布式計算的梯度聚合方式比Spark集群自帶的map-reduce更加易用且豐富，但在分布式機器的調度管理上不如Spark集群方便。

綜上可以看到，現有的TensorFlow?Federated框架支持使用自定義的各種keras模型進行訓練，但缺乏對大規模數據的訓練支持，如果對大規模數據進行訓練可能因內存問題導致訓練失敗，又或者需要利用隊列依次讀出數據，將耗費大量的時間。如果可以嵌入Spark集群進行分布式計算就可以減少大量數據的輸入輸出和計算產生的時間消耗，但僅僅這么做會在并行機器過多時使得訓練受限于通信帶寬，這就不但需要嵌入的分布式方法能夠對keras模型有相應的適配，而且還要避免并行機器增多帶來的通信成本問題，此外還需要能夠保證客戶端在TensorFlow?Federated的框架下對集群進行調度，保證聯邦訓練的正常進行。因此如何在保護數據私密性的同時，利用好海量數據快速地進行模型訓練，并且避免過高的通信成本成為目前深度學習技術領域亟待解決的技術問題。

發明內容

本發明以在保護數據私密性的同時，利用海量數據快速進行模型訓練，并且避免過高的通信成本為目的，提供了一種基于Spark集群和Ring-AllReduce架構的分布式聯邦學習方法。

為達此目的，本發明采用以下技術方案：

提供一種基于Spark集群和Ring-AllReduce架構的分布式聯邦學習方法，步驟包括：

S1，服務端定義模型M并對其序列化后生成序列化信息廣播給各客戶端進行聯邦訓練；

S2，各所述客戶端接收到所述序列化信息后部署好Spark集群環境，所述Spark集群環境包括訓練集群和數據集群；