[發明專利]一種神經網絡模型訓練方法、裝置、芯片和系統

在審

• 申請號: 201910503321.6
• 申請日: 2016-11-29
• 公開（公告）號: CN110348571A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 張長征;白小龍;涂丹丹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種模型訓練方法，其特征在于，運用所述方法的訓練系統包括至少一個服務器模塊和N個工作模塊，所述至少一個服務器模塊和所述N個工作模塊在訓練周期內訓練所述模型的模型參數，所述訓練周期包括K次迭代，其中，N和K均為正整數，每個工作模塊上并行運行計算進程和通訊進程；

所述計算進程根據第i次迭代的局部梯度和所述第i次迭代的模型參數計算第i+1次迭代的模型參數，其中，i為小于K的正整數；

所述計算進程根據所述第i+1次迭代的模型參數以及所述第i+1次迭代的樣本數據，計算所述第i+1次迭代的局部梯度；

所述通訊進程從所述至少一個服務器模塊下拉第r次迭代的全局梯度，其中，r為小于i的正整數。

2.如權利要求1所述的模型訓練方法，其特征在于，還包括：

所述通訊進程向所述至少一個服務器模塊上推第r次迭代的局部梯度。

3.如權利要求1或2所述的模型訓練方法，其特征在于，還包括：

所述通訊進程在所述計算進程計算所述第i+1次迭代的模型參數后，向所述至少一個服務器模塊上推所述第i次迭代的局部梯度。

4.如權利要求1至3任一所述的模型訓練方法，其特征在于，所述計算進程根據所述第i次迭代的局部梯度和所述第i次迭代的模型參數計算所述第i+1次迭代的模型參數包括：

所述計算進程根據所述第r次迭代的全局梯度、所述第i次迭代的局部梯度和所述第i次迭代的模型參數計算所述第i+1次迭代的模型參數。

5.如權利要求4所述的模型訓練方法，其特征在于，所述計算進程計算所述第i+1次迭代的模型參數之前，還包括：

所述通訊進程從所述至少一個服務器模塊下拉多次迭代的全局梯度，所述第r次迭代的全局梯度為所述多次迭代的全局梯度之一；

所述工作模塊根據第一條件從所述多次迭代的全局梯度中選擇所述第r次迭代的全局梯度用于計算所述第i+1次迭代的模型參數。

6.如權利要求5所述的模型訓練方法，其特征在于，所述第一條件包括以下條件或以下條件的任何一個：

選取未被用于所述第1次迭代至所述第i次迭代之間任一次迭代中的模型參數的計算；

選取所述多次迭代中批次最高的迭代的全局梯度。

7.如權利要求1至6任一所述的模型訓練方法，其特征在于，還包括：

所述至少一個服務器模塊根據所述N個工作模塊中部分工作模塊上推的所述第r次迭代的局部梯度計算所述第r次迭代的全局梯度。

8.如權利要求1至7任一所述的模型訓練方法，其特征在于，還包括：

所述通訊進程連續向所述至少一個服務器模塊上推多次迭代的局部梯度；和/或

所述通訊進程連續從所述至少一個服務器模塊下拉多次迭代的全局梯度。

9.如權利要求1至8任一所述的模型訓練方法，其特征在于，所述計算進程計算所述第i+1次迭代的模型參數的過程中，不采用所述第i次迭代的全局梯度。

10.如權利要求1至9任一所述的模型訓練方法，其特征在于，所述計算進程計算所述第i+1次迭代的模型參數無需等待所述通訊進程上推所述第i次迭代的局部梯度；和/或

所述計算進程計算所述第i+1次迭代的模型參數無需等待所述通訊進程下拉所述第i次迭代的全局梯度。