[發(fā)明專利]數(shù)據(jù)訓(xùn)練方法及裝置、存儲(chǔ)介質(zhì)、電子裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201711488171.3
• 申請(qǐng)日: 2017-12-29
• 公開(kāi)（公告）號(hào): CN109993299A
• 公開(kāi)（公告）日: 2019-07-09
• 發(fā)明（設(shè)計(jì)）人: 韓炳濤
• 申請(qǐng)（專利權(quán)）人: 中興通訊股份有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 江舟;董文倩

1.一種數(shù)據(jù)訓(xùn)練方法，其特征在于，包括：

確定樣本數(shù)據(jù)和可用的集群資源；

將總訓(xùn)練模型拆分為多個(gè)子模型；

使用所述集群資源在所述多個(gè)子模型上并行訓(xùn)練所述樣本數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將總訓(xùn)練模型拆分為多個(gè)子模型包括以下至少之一：

將所述總訓(xùn)練模型拆分為多個(gè)第一子模型，其中，所述多個(gè)第一子模型并行連接；

將所述總訓(xùn)練模型拆分為多個(gè)第二子模型，其中，所述多個(gè)第二子模型串行連接。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述總訓(xùn)練模型拆分為多個(gè)第一子模型：

根據(jù)算子的類型將所述總訓(xùn)練模型拆分為多個(gè)第一子模型，其中，所述總訓(xùn)練模型由一個(gè)或多個(gè)所述算子組成。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)算子的類型將所述總訓(xùn)練模型拆分為多個(gè)第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：稠密算子；

將所述稠密算子拆分為N個(gè)輸入為(B/N)×I的子稠密算子，其中，B為第一批維度，所述第一批維度的大小與指示的批尺寸的大小相同，I為所述稠密算子的輸入向量的維度，N為大于1的整數(shù)，其中，所述第一子模型包括：所述子稠密算子。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)算子的類型將所述總訓(xùn)練模型拆分為多個(gè)第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：稠密算子；

將所述稠密算子拆分為N個(gè)計(jì)算參數(shù)為I×(O/N)的子稠密算子，其中，所述子稠密算子與所述稠密算子的輸入張量相同，O為所述稠密算子的輸出向量的維度，I為所述稠密算子的輸入向量的維度，N為大于1的整數(shù)，其中，所述第一子模型包括：所述子稠密算子。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)算子的類型將所述總訓(xùn)練模型拆分為多個(gè)第一子模型包括：

獲取所述算子的類型，其中，所述算子的類型包括：卷積算子；

將所述卷積算子拆分為N個(gè)子卷積算子，其中，所述子卷積算子的輸入張量為所述卷積算子的輸入張量相同；

其中，所述第一子模型包括：所述子卷積算子。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述總訓(xùn)練模型拆分為多個(gè)第二子模型包括：

解析所述總訓(xùn)練模型得到多個(gè)算子，其中，所述總訓(xùn)練模型包括Concat算子和Split算子，串行相鄰的Concat算子和Split算子組成第一Concat-Split算子對(duì)；

在所述第一Concat-Split算子對(duì)中，在所述Concat算子的輸入張量與所述Split算子的輸出張量相同時(shí)，在所述總訓(xùn)練模型中刪除所述第一Concat-Split算子對(duì)中的Concat算子和Split算子后，將所述總訓(xùn)練模型拆分為多個(gè)第二子模型。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定樣本數(shù)據(jù)和可用的集群資源包括：

接收訓(xùn)練作業(yè)，從所述訓(xùn)練作業(yè)中獲取對(duì)應(yīng)的樣本數(shù)據(jù)；確定集群當(dāng)前空閑的第一處理器，以及接收指定的第二處理器信息，根據(jù)所述第二處理器信息在所述第一處理器中確定可用的處理器資源，其中，所述集群資源包括所述處理器資源。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用所述集群資源在所述多個(gè)子模型上并行訓(xùn)練所述樣本數(shù)據(jù)包括：

將所述樣本數(shù)據(jù)劃分為M個(gè)分片后，并行輸入到所述集群資源的M*K個(gè)子模型上進(jìn)行訓(xùn)練，其中，K為配置一個(gè)子模型所需要的最小集群資源，M為大于0的整數(shù)，K為大于0的整數(shù)。

10.一種數(shù)據(jù)訓(xùn)練裝置，其特征在于，包括：

確定模塊，用于確定樣本數(shù)據(jù)和可用的集群資源；

拆分模塊，用于將總訓(xùn)練模型拆分為多個(gè)子模型；

訓(xùn)練模塊，用于使用所述集群資源在所述多個(gè)子模型上并行訓(xùn)練所述樣本數(shù)據(jù)。