[發明專利]初始化參數的集群同步方法、裝置、設備、介質及系統

在審

• 申請號: 202110989326.1
• 申請日: 2021-08-26
• 公開（公告）號: CN113709240A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 吳長平;劉邦嵐;王嫣然;丁圣閣
• 申請（專利權）人: 上海燧原科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 蔡舒野

1.一種初始化參數的集群同步方法，由設置在訓練集群的主服務器上的集中主節點執行，其特征在于，包括：

接收與待訓練的目標神經網絡匹配的初始化訓練參數；

根據初始化訓練參數，構建與主服務器中的各第一從節點分別匹配的服務器內數據包，并將各服務器內數據包發送至匹配的各第一從節點；

根據初始化訓練參數，構建與訓練集群中的各從服務器分別匹配的服務器間數據包，并將各服務器間數據包分別發送至各從服務器中的分層主節點；

其中，各分層主節點用于將接收到的服務器間數據包同步至各從服務器中的各第二從節點。

2.根據權利要求1所述的方法，其特征在于，所述第一從節點為所述主服務器中包括的，用于與集中主節點共同訓練目標神經網絡所使用的其他節點，且第一從節點和集中主節點的合集為主服務器中包括的全部節點的真子集；

根據初始化訓練參數，構建與主服務器中的各第一從節點分別匹配的服務器內數據包，并將各服務器內數據包發送至匹配的各第一從節點，包括：

根據所述初始化訓練參數以及各所述第一從節點的節點識別標識，構建與所述第一從節點的節點數量匹配的多個服務器內數據包；

通過所述主服務器中預先配置的服務器內高速網絡，將各所述服務器內數據包分別發送至各所述第一從節點。

3.根據權利要求1所述的方法，其特征在于，所述第一從節點為所述主服務器中包括的，用于與集中主節點共同訓練目標神經網絡所使用的其他節點，且第一從節點和集中主節點的合集為主服務器中包括的全部節點；

根據初始化訓練參數，構建與主服務器中的各第一從節點分別匹配的服務器內數據包，并將各服務器內數據包發送至匹配的各第一從節點，包括：

根據所述初始化訓練參數構建一個服務器內數據包，并將所構建的服務器內數據包在所述主服務器中預先配置的服務器內高速網絡中進行廣播；

通過服務器內高速網絡，將使用服務器內數據包復制得到的，與第一從節點的數量值匹配的多個服務器內數據包分別發送至各第一從節點。

4.根據權利要求1所述的方法，其特征在于，所述從服務器為所述訓練集群中包括的，用于與主服務器共同訓練目標神經網絡所使用的其他服務器；

根據初始化訓練參數，構建與訓練集群中的各從服務器分別匹配的服務器間數據包，并將各服務器間數據包分別發送至各從服務器中的分層主節點，包括：

根據所述初始化訓練參數以及各所述分層主節點的節點識別標識，構建與所述從服務器的服務器數量匹配的多個服務器間數據包；

通過所述訓練集群中預先配置的服務器間高速網絡，將各所述服務器間數據包分別發送至各從服務器中的分層主節點。

5.一種初始化參數的集群同步方法，由設置在訓練集群的從服務器上的分層主節點執行，其特征在于，包括：

接收訓練集群的主服務器中的集中主節點發送的服務器間數據包，其中，所述服務器間數據包為所述集中主節點根據與待訓練的目標神經網絡匹配的初始化訓練參數，以及所述分層主節點的節點識別標識構建得到的；

將所述服務器間數據包發送至所在從服務器中的各第二從節點，以實現對初始化訓練參數的服務器內同步；

其中，所述第二從節點為所述從服務器中包括的，用于與分層主節點共同訓練目標神經網絡所使用的其他節點。

6.一種初始化參數的集群同步裝置，由設置在訓練集群的主服務器上的集中主節點執行，其特征在于，包括：

訓練參數接收模塊，用于接收與待訓練的目標神經網絡匹配的初始化訓練參數；

第一服務器內發送模塊，用于根據初始化訓練參數，構建與主服務器中的各第一從節點分別匹配的服務器內數據包，并將各服務器內數據包發送至匹配的各第一從節點；

服務器間發送模塊，用于根據初始化訓練參數，構建與訓練集群中的各從服務器分別匹配的服務器間數據包，并將各服務器間數據包分別發送至各從服務器中的分層主節點；

其中，各分層主節點用于將接收到的服務器間數據包同步至各從服務器中的各第二從節點。