[發明專利]機器學習模型訓練方法和裝置

有效

• 申請號: 201710344182.8
• 申請日: 2017-05-16
• 公開（公告）號: CN108320026B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 丁俊南;尹紅軍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06V10/774
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 何平;鄧云鵬

本發明涉及一種機器學習模型訓練方法和裝置，包括：獲取在本輪清洗臟樣本數據前已有純凈樣本數據；根據已有純凈樣本數據和機器學習模型的當前模型參數，確定該模型的損失函數的第一二階平均梯度；根據本輪從臟樣本數據中取部分臟樣本數據清洗后得到的純凈樣本數據和當前模型參數，確定損失函數的第二二階平均梯度；根據第一二階平均梯度和第二二階平均梯度，獲得損失函數的整體二階平均梯度；根據整體二階平均梯度調整當前模型參數；若調整后的模型參數不滿足訓練結束條件，將下一輪作為本輪，返回獲取在本輪清洗臟樣本數據前已有純凈樣本數據的步驟繼續訓練，直至滿足訓練結束條件。減少了迭代更新的次數，進而減少了迭代更新對機器資源的損耗。

技術領域

本發明涉及計算機技術領域，特別是涉及一種機器學習模型訓練方法和裝置。

背景技術

機器學習的過程，通常是指計算機根據輸入的樣本數據，通過一系列算法對輸入的樣本數據進行分析，以構建初始模型，并通過迭代訓練來更新初始模型的模型參數，以得到最終合適的模型。

傳統方法中，是通過梯度下降法(gradient descent)來對模型參數進行更新。其中，使用梯度下降法更新模型參數時，會計算損失函數的梯度，根據該梯度來對模型參數進行迭代更新，以將模型進行逐漸收斂來提高模型的準確率。

然而，傳統的基于梯度下降法更新模型參數的方法，每次迭代對模型的準確率提高程度比較小，需要迭代更新的次數比較多，因而，需要耗費機器中較多資源來進行迭代更新。

發明內容

基于此，有必要針對目前基于梯度下降法更新模型參數時，需要耗費機器中較多資源來進行迭代更新的技術問題，提供一種機器學習模型訓練方法和裝置。

一種機器學習模型訓練方法，包括：

獲取在本輪清洗臟樣本數據前已有的純凈樣本數據；

根據所述已有的純凈樣本數據和機器學習模型的當前模型參數，確定所述機器學習模型的損失函數的第一二階平均梯度；

獲取本輪從臟樣本數據中取部分臟樣本數據清洗后得到的純凈樣本數據；

根據本輪清洗得到的所述純凈樣本數據和所述當前模型參數，確定所述損失函數的第二二階平均梯度；

根據所述第一二階平均梯度和所述第二二階平均梯度，獲得所述損失函數的整體二階平均梯度；

根據所述整體二階平均梯度調整所述當前模型參數；

當調整后的模型參數不滿足訓練結束條件時，將下一輪作為本輪，返回所述獲取在本輪清洗臟樣本數據前已有的純凈樣本數據的步驟以繼續訓練，直至調整后的模型參數滿足訓練結束條件。

一種機器學習模型訓練裝置，包括：

樣本數據獲取模塊，用于獲取在本輪清洗臟樣本數據前已有的純凈樣本數據；

二階平均梯度確定模塊，用于根據所述已有的純凈樣本數據和機器學習模型的當前模型參數，確定所述機器學習模型的損失函數的第一二階平均梯度；

所述樣本數據獲取模塊還用于獲取本輪從臟樣本數據中取部分臟樣本數據清洗后得到的純凈樣本數據；

所述二階平均梯度確定模塊還用于根據本輪清洗得到的所述純凈樣本數據和所述當前模型參數，確定所述損失函數的第二二階平均梯度；根據所述第一二階平均梯度和所述第二二階平均梯度，獲得所述損失函數的整體二階平均梯度；

模型參數調整模塊，用于根據所述整體二階平均梯度調整所述當前模型參數；當調整后的模型參數不滿足訓練結束條件時，將下一輪作為本輪，通知所述樣本數據獲取模塊工作，直至調整后的模型參數滿足訓練結束條件。