[發明專利]模型訓練方法、裝置、存儲介質及設備

在審

• 申請號: 202011566357.8
• 申請日: 2020-12-25
• 公開（公告）號: CN114757244A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李億;練韻文
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 常云敏

1.一種模型訓練方法，其特征在于，所述方法應用于模型訓練裝置，所述模型訓練裝置對待訓練的神經網絡模型進行迭代訓練，所述迭代訓練包括N個訓練回合，在第n個訓練回合中，其中，N和n為正整數，n小于N，所述方法包括：

根據索引表從訓練數據集中獲取第一訓練數據子集；

根據所述第一訓練數據子集中的訓練數據對所述神經網絡模型進行訓練，獲得所述神經網絡模型對應的梯度信息；

根據所述梯度信息對所述第一訓練數據子集中的訓練數據進行評估，獲得評估結果；

根據所述評估結果調整所述索引表，所述調整后的索引表用于在第n+1個回合獲取第二訓練子集。

2.如權利要求1所述的方法，其特征在于，所述根據所述梯度信息對所述第一訓練數據子集中的訓練數據進行評估，獲得評估結果包括：

獲取預設評估規則；

根據所述預設評估規則和所述梯度信息對所述第一訓練數據子集中的訓練數據進行評估，獲得評估結果。

3.如權利要求1或2所述的方法，其特征在于，所述評估結果包括所述訓練數據對模型訓練的效果，和/或對所述訓練數據在下一回合訓練中的處理方式。

4.如權利要求3所述的方法，其特征在于，所述訓練數據對模型訓練的效果包括：無效，其中，所述無效表示所述訓練數據對所述模型訓練要達到的訓練精度所提供的貢獻為0；

低效，其中，所述低效表示所述訓練數據對所述模型訓練要達到的訓練精度所提供的貢獻達到第一貢獻度；

高效，其中，所述高效表示所述訓練數據對所述模型訓練要達到的訓練精度所提供的貢獻達到第二貢獻度；其中，所述第二貢獻度大于所述第一貢獻度；

或者，

不確定，其中，所述不確定表示所述訓練數據對所述模型訓練要達到的訓練精度所提供的貢獻不確定。

5.如權利要求3或4所述的方法，其特征在于，所述對所述訓練數據在下一回合訓練中的處理方式包括：

刪除所述訓練數據、降低所述訓練數據的權重、增加所述訓練數據的權重或保留所述訓練數據。

6.如權利要求1-5任一項所述的方法，其特征在于，所述方法還包括：

利用測試數據測試所述神經網絡模型，得到測試結果；

根據預設目標值與所述測試結果更新所述預設評估規則。

7.如權利要求6所述的方法，其特征在于，所述根據預設目標值與所述測試結果更新所述預設評估規則包括：

當所述測試結果達到或優于所述預設目標值時，基于正反饋機制更新所述預設評估規則；

當所述測試結果未達到所述預設目標值時，基于負反饋機制更新所述預設評估規則。

8.如權利要求1-7任一項所述的方法，其特征在于，所述神經網絡模型包括多層計算層；

所述獲得所述神經網絡模型對應的梯度信息包括：

獲取所述神經網絡模型中至少一層計算層的梯度信息。

9.如權利要求要求8所述的方法，其特征在于，所述神經網絡模型包括m層計算層，其中，m為正整數，

所述獲取所述神經網絡模型中至少一層計算層的梯度信息，包括：

獲取所述神經網絡模型中第m層計算層的梯度信息。

10.如權利要求1-9任一項所述的方法，其特征在于，在所述模型訓練裝置對待訓練的神經網絡模型進行迭代訓練之前，所述方法還包括：

接收用戶通過界面配置的模型訓練的配置信息，其中，所述配置信息包括所述用戶通過所述界面選擇的動態訓練的信息；

所述配置信息還包括以下信息中的一種或多種：神經網絡模型的信息、訓練數據集的信息、模型訓練的運行參數、模型訓練的計算資源信息。