[發明專利]數據訓練方法及裝置、存儲介質、電子裝置

在審

• 申請號: 201711488171.3
• 申請日: 2017-12-29
• 公開（公告）號: CN109993299A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 韓炳濤
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 江舟;董文倩

1.一種數據訓練方法，其特征在于，包括：

確定樣本數據和可用的集群資源；

將總訓練模型拆分為多個子模型；

使用所述集群資源在所述多個子模型上并行訓練所述樣本數據。

2.根據權利要求1所述的方法，其特征在于，將總訓練模型拆分為多個子模型包括以下至少之一：

將所述總訓練模型拆分為多個第一子模型，其中，所述多個第一子模型并行連接；

將所述總訓練模型拆分為多個第二子模型，其中，所述多個第二子模型串行連接。

3.根據權利要求2所述的方法，其特征在于，將所述總訓練模型拆分為多個第一子模型：

根據算子的類型將所述總訓練模型拆分為多個第一子模型，其中，所述總訓練模型由一個或多個所述算子組成。

4.根據權利要求3所述的方法，其特征在于，根據算子的類型將所述總訓練模型拆分為多個第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：稠密算子；

將所述稠密算子拆分為N個輸入為(B/N)×I的子稠密算子，其中，B為第一批維度，所述第一批維度的大小與指示的批尺寸的大小相同，I為所述稠密算子的輸入向量的維度，N為大于1的整數，其中，所述第一子模型包括：所述子稠密算子。

5.根據權利要求3所述的方法，其特征在于，根據算子的類型將所述總訓練模型拆分為多個第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：稠密算子；

將所述稠密算子拆分為N個計算參數為I×(O/N)的子稠密算子，其中，所述子稠密算子與所述稠密算子的輸入張量相同，O為所述稠密算子的輸出向量的維度，I為所述稠密算子的輸入向量的維度，N為大于1的整數，其中，所述第一子模型包括：所述子稠密算子。

6.根據權利要求3所述的方法，其特征在于，根據算子的類型將所述總訓練模型拆分為多個第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：卷積算子；

將所述卷積算子拆分為N個子卷積算子，其中，所述子卷積算子的輸入張量為所述卷積算子的輸入張量相同；

其中，所述第一子模型包括：所述子卷積算子。

7.根據權利要求2所述的方法，其特征在于，將所述總訓練模型拆分為多個第二子模型包括：

解析所述總訓練模型得到多個算子，其中，所述總訓練模型包括Concat算子和Split算子，串行相鄰的Concat算子和Split算子組成第一Concat-Split算子對；

在所述第一Concat-Split算子對中，在所述Concat算子的輸入張量與所述Split算子的輸出張量相同時，在所述總訓練模型中刪除所述第一Concat-Split算子對中的Concat算子和Split算子后，將所述總訓練模型拆分為多個第二子模型。

8.根據權利要求1所述的方法，其特征在于，確定樣本數據和可用的集群資源包括：

接收訓練作業，從所述訓練作業中獲取對應的樣本數據；確定集群當前空閑的第一處理器，以及接收指定的第二處理器信息，根據所述第二處理器信息在所述第一處理器中確定可用的處理器資源，其中，所述集群資源包括所述處理器資源。

9.根據權利要求1所述的方法，其特征在于，使用所述集群資源在所述多個子模型上并行訓練所述樣本數據包括：

將所述樣本數據劃分為M個分片后，并行輸入到所述集群資源的M*K個子模型上進行訓練，其中，K為配置一個子模型所需要的最小集群資源，M為大于0的整數，K為大于0的整數。

10.一種數據訓練裝置，其特征在于，包括：

確定模塊，用于確定樣本數據和可用的集群資源；

拆分模塊，用于將總訓練模型拆分為多個子模型；

訓練模塊，用于使用所述集群資源在所述多個子模型上并行訓練所述樣本數據。