[發明專利]超參數的確定方法、裝置、設備和介質

在審

• 申請號: 201811180164.1
• 申請日: 2018-10-10
• 公開（公告）號: CN111027579A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 周旭輝;徐曉飛;劉凱
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種超參數的確定方法、裝置、設備和介質，涉及數據處理領域。該方法包括：將確定的至少兩組超參數組分別設置于待訓練的基礎學習模型中，得到至少兩個目標學習模型，并利用訓練樣本對各目標學習模型進行訓練；對訓練的各目標學習模型的預測效果進行測試，將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型；繼續對各目標學習模型進行訓練，直至各目標學習模型滿足設定訓練停止條件，根據各目標學習模型的預測效果確定目標超參數組。本發明實施例提供的一種超參數的確定方法、裝置、設備和介質，提高了基于優化的超參數的模型預測效果。

技術領域

本發明實施例涉及數據處理領域，尤其涉及一種超參數的確定方法、裝置、設備和介質。

背景技術

所謂超參數，就是機器學習模型里面的框架參數，比如聚類方法里面類的個數，或者話題模型里面話題的個數等，都稱為超參數。它們跟訓練過程中學習的參數(權重)是不一樣的，通常是手工設定，不斷試錯調整，或者對一系列窮舉出來的參數組合一通枚舉(叫做網格搜索)。通常一個學習模型對應有多個超參數，該多個超參數構成一個超參數組。

超參數的手工設定中，因為每份數據的分布不同、輸入不同，造成超參數復用性不強。同時超參數有些是浮點數，而浮點數的取值是無窮盡的。這些都導致需要花大量時間對超參數進行調測。

而網格搜索中固定的搜索步長會錯過一些好的超參數。又因為需要按照設定搜索步長遍歷所有可能的超參數，所以基于網格搜索的超參數的訓練時間長。因此，需要指定停止時間，而停止時間的指定同樣可能錯過一些好的超參數，從而導致基于網格搜索確定的超參數的模型預測效果并不好。

發明內容

本發明實施例提供一種超參數的確定方法、裝置、設備和介質，以提高基于優化的超參數的模型預測效果。

第一方面，本發明實施例提供了一種超參數的確定方法，該方法包括：

將確定的至少兩組超參數組分別設置于待訓練的基礎學習模型中，得到至少兩個目標學習模型，并利用訓練樣本對各目標學習模型進行訓練；

對訓練的各目標學習模型的預測效果進行測試，將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型；

繼續對各目標學習模型進行訓練，直至各目標學習模型滿足設定訓練停止條件，停止對各目標學習模型的訓練，根據各目標學習模型的預測效果從各目標學習模型設置的超參數組中選擇目標超參數組。

第二方面，本發明實施例還提供了一種超參數的確定裝置，該裝置包括：

模型訓練模塊，用于將確定的至少兩組超參數組分別設置于待訓練的基礎學習模型中，得到至少兩個目標學習模型，并利用訓練樣本對各目標學習模型進行訓練；

超參數傳遞模塊，用于對訓練的各目標學習模型的預測效果進行測試，將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型；

最優超參數確定模塊，用于繼續對各目標學習模型進行訓練，直至各目標學習模型滿足設定訓練停止條件，停止對各目標學習模型的訓練，根據各目標學習模型的預測效果從各目標學習模型設置的超參數組中選擇目標超參數組。

第三方面，本發明實施例還提供了一種設備，所述設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明實施例中任一所述的超參數的確定方法。