[發明專利]一種兼容多種訓練方式的深度學習分布式訓練方法與系統

在審

• 申請號: 202010132499.7
• 申請日: 2020-02-29
• 公開（公告）號: CN111340235A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 朱紅;趙旭東
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

1.一種兼容多種訓練方式的深度學習分布式訓練方法，其特征在于，所述方法包括以下步驟：

S1、基于深度學習框架tensorflow定義一個統一的模型訓練接口；

S2、模型訓練接口在初始化時根據定義的GPU數目以及計算節點數目判斷是否進行分布式訓練；

S3、通過模型訓練接口的算法策略參數指明實際的分布式算法策略，包括基于深度學習框架tensorflow中的鏡像策略、基于深度學習框架horovod的策略以及默認策略；

S4、根據不同的算法策略執行相應的初始化工作；

S5、執行模型訓練接口的運行函數，根據初始化的模型訓練接口的實例不同執行不同的分布式訓練。

2.根據權利要求1所述的一種兼容多種訓練方式的深度學習分布式訓練方法，其特征在于，所述步驟S4具體操作如下：

對于深度學習框架tensorflow中的鏡像策略，需要執行兩步操作，分別是初始化鏡像策略的作用域函數，并在作用域函數的作用域內初始化需要訓練的模型以及模型的優化器；

對于深度學習框架horovod的策略，需要執行的操作包括初始化horovod進程，并基于horovod的方法重新定義訓練的優化器；

對于默認策略，執行默認內置算法。

3.根據權利要求1所述的一種兼容多種訓練方式的深度學習分布式訓練方法，其特征在于，所述步驟S5具體操作如下：

如果使用的是鏡像策略，則運行函數在作用域函數的作用域內進行模型的訓練任務；如果使用的是horovod策略，先根據運行函數輸入的訓練數據按照進程數進行拆分，然后每個進程再根據拆分到的數據進行訓練，并在訓練后對每個設備中的模型的梯度數據進行同步。

4.一種兼容多種訓練方式的深度學習分布式訓練系統，其特征在于，所述系統包括：

接口定義模塊，用于基于深度學習框架tensorflow定義一個統一的模型訓練接口；

分布式訓練判斷模塊，用于模型訓練接口在初始化時根據定義的GPU數目以及計算節點數目判斷是否進行分布式訓練；

算法策略選擇模塊，用于通過模型訓練接口的算法策略參數指明實際的分布式算法策略，包括基于深度學習框架tensorflow中的鏡像策略、基于深度學習框架horovod的策略以及默認策略；

初始化模塊，用于根據不同的算法策略執行相應的初始化工作；

分布式訓練模塊，用于執行模型訓練接口的運行函數，根據初始化的模型訓練接口的實例不同執行不同的分布式訓練。

5.根據權利要求4所述的一種兼容多種訓練方式的深度學習分布式訓練系統，其特征在于，所述初始化模塊包括：

鏡像策略初始化單元，用于對于深度學習框架tensorflow中的鏡像策略，需要執行兩步操作，分別是初始化鏡像策略的作用域函數，并在作用域函數的作用域內初始化需要訓練的模型以及模型的優化器；

horovod策略初始化單元，用于對于深度學習框架horovod的策略，需要執行的操作包括初始化horovod進程，并基于horovod的方法重新定義訓練的優化器；

默認策略初始化單元，用于對于默認策略，執行默認內置算法。

6.根據權利要求4所述的一種兼容多種訓練方式的深度學習分布式訓練系統，其特征在于，所述分布式訓練模塊包括：

鏡像分布式訓練單元，用于如果使用的是鏡像策略，則運行函數在作用域函數的作用域內進行模型的訓練任務；

horovod分布式訓練單元，用于如果使用的是horovod策略，先根據fit函數輸入的訓練數據按照進程數進行拆分，然后每個進程再根據拆分到的數據進行訓練，并在訓練后對每個設備中的模型的梯度數據進行同步。

7.一種兼容多種訓練方式的深度學習分布式訓練設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序，以實現根據權利要求1至3任一項所述的兼容多種訓練方式的深度學習分布式訓練方法。

8.一種可讀存儲介質，其特征在于，用于保存計算機程序，其中，所述計算機程序被處理器執行時實現根據權利要求1至3任一項所述的兼容多種訓練方式的深度學習分布式訓練方法。