[發明專利]一種模型訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202010529888.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111695688A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 朱子霖;姜曦楠;陳志博;楊博;郭晨陽;黃雪;周飛虎;郭振宇
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

1.一種模型訓練方法，其特征在于，所述方法包括：

基于優化訓練模式對神經網絡模型進行訓練；

當所述神經網絡模型訓練至目標階段時，分別基于所述優化訓練模式和基礎訓練模式，對所述神經網絡模型進行所述目標階段的訓練；

根據所述優化訓練模式和所述基礎訓練模式各自在所述目標階段對于所述神經網絡模型的訓練情況，確定所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息；

根據所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息，從所述優化訓練模式和所述基礎訓練模式中選出目標訓練模式；

基于所述目標訓練模式對所述神經網絡模型繼續進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述根據所述優化訓練模式和所述基礎訓練模式各自在所述目標階段對于所述神經網絡模型的訓練情況，確定所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息，包括：

確定基于所述優化訓練模式完成所述目標階段的訓練所耗費的第一時長，確定在所述優化訓練模式下所述神經網絡模型在所述目標階段的第一收斂量，將所述第一時長和所述第一收斂量作為所述優化訓練模式對應的訓練參考信息；

確定基于所述基礎訓練模式完成所述目標階段的訓練所耗費的第二時長，確定在所述基礎訓練模式下所述神經網絡模型在所述目標階段的第二收斂量，將所述第二時長和所述第二收斂量作為所述基礎訓練模式對應的訓練參考信息。

3.根據權利要求2所述的方法，其特征在于，所述根據所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息，從所述優化訓練模式和所述基礎訓練模式中選出目標訓練模式，包括：

根據所述第一時長和所述第一收斂量，計算所述優化訓練模式對應的收斂速率；根據所述第二時長和所述第二收斂量，計算所述基礎訓練模式對應的收斂速率；

確定所述優化訓練模式和所述基礎訓練模式中收斂速率最高的訓練模式，作為所述目標訓練模式。

4.根據權利要求1所述的方法，其特征在于，所述根據所述優化訓練模式和所述基礎訓練模式各自在所述目標階段對于所述神經網絡模型的訓練情況，確定所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息，包括：

確定基于所述優化訓練模式完成所述目標階段的訓練后所述神經網絡模型對應的第一模型精度，作為所述優化訓練模式對應的訓練參考信息；

確定基于所述基礎訓練模式完成所述目標階段的訓練后所述神經網絡模型對應的第二模型精度，作為所述基礎訓練模式對應的訓練參考信息。

5.根據權利要求4所述的方法，其特征在于，所述根據所述優化訓練模式和所述基礎訓練模式各自對應的訓練參考信息，從所述優化訓練模式和所述基礎訓練模式中選出目標訓練模式，包括：

當所述第一模型精度高于所述第二模型精度時，確定所述優化訓練模式為所述目標訓練模式；

當所述第二模型精度高于所述第一模型精度時，確定所述基礎訓練模式為所述目標訓練模式。

6.根據權利要求1所述的方法，其特征在于，所述當所述神經網絡模型訓練至目標階段時，分別基于所述優化訓練模式和基礎訓練模式，對所述神經網絡模型進行所述目標階段的訓練，包括：

當所述神經網絡模型訓練至所述目標階段時，基于所述優化訓練模式對所述神經網絡模型進行所述目標階段的訓練；

熱關閉所述優化訓練模式，熱開啟所述基礎訓練模式；

基于所述基礎訓練模式對所述神經網絡模型進行所述目標階段的訓練。

7.根據權利要求1所述的方法，其特征在于，所述當所述神經網絡模型訓練至目標階段時，分別基于所述優化訓練模式和基礎訓練模式，對所述神經網絡模型進行所述目標階段的訓練，包括：

當所述神經網絡模型訓練至所述目標階段時，熱開啟所述基礎訓練模式，基于所述優化訓練模式和所述基礎訓練模式，并行地對所述神經網絡模型進行所述目標階段的訓練。