[發明專利]分布式數據處理系統及其方法

在審

• 申請號: 202110634765.0
• 申請日: 2020-07-24
• 公開（公告）號: CN113342525A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 柳俊丞;上官士源;李新奇;郭冉;袁進輝
• 申請（專利權）人: 北京一流科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06N3/063
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

1.一種分布式數據處理系統，用于在所述多個計算設備上對數據進行并行處理，每個計算設備包含前向數據處理組件和后向數據處理組件，其中至少一個計算設備含有其他計算設備不具有的一個模型參數組件以及與一個所述模型參數組件對應的模型參數更新組件，所述模型參數組件通過與其對應的廣播組件將其含有的一組將被并行處理的數據所使用的模型參數輸入到其他計算設備的廣播組件，以及所述模型參數更新組件從與其對應的梯度匯聚組件獲取對應的全局梯度值進行更新處理。

2.根據權利要求1所述分布式數據處理系統，其中每個計算設備的廣播組件將模型參數輸入到對應的前向數據處理組件執行前向數據處理和輸入到后向數據處理組件執行后向數據處理。

3.根據權利要求1所述分布式數據處理系統，其還包括：

一個或多個串聯在所述模型參數組件和其對應的廣播組件之間的多個運算任務組件，所述多個運算任務組件中每一個運算任務組件為單輸入與單輸出的運算任務組件；以及

一個或多個串聯在所述模型參數更新組件和其對應的梯度匯聚組件之間的多個運算任務組件，所述多個運算任務組件中每一個運算任務組件為單輸入與單輸出的運算任務組件。

4.根據權利要求1所述分布式數據處理系統，其中與所述模型參數組件相連的所述廣播組件將模型參數組件中的模型參數輸入到所述模型參數組件所在計算設備上的與所述模型參數組件對應的前向運算組件和后向運算組件，并且還輸入到其他并行計算設備上的并行廣播組件，以便該并行廣播組件將所接收到的模型參數輸入到并行的前向運算組件和后向運算組件。

5.一種分布式數據處理方法，包括：

將待處理數據按照分布式數據處理架構的計算設備的數量分片成多個分片數據發送到各個計算設備，執行前向數據處理和后向數據處理，

將模型參數集合劃分成多個子集，將一個子集只分布到一個計算設備上的模型參數組件；

一個模型參數組件將自身維護的參數通過與其相連的一個廣播組件發送到各個并行處理分片數據的其他計算設備的對應一個廣播組件，以便各個其他計算設備上的前向數據處理組件和后向數據處理組件基于所獲得模型參數對分片數據的處理。

6.根據權利要求5所述的分布式數據處理方法，還包括：

與和該模型參數組件相連的廣播組件對應的一個梯度匯聚組件獲取其他計算設備上對應的梯度匯聚組件發送來的梯度值，從而獲取全局梯度值，并傳輸到與該模型參數組件對應的一個模型參數更新組件，以便模型參數更新組件進行模型參數更新處理。