[發明專利]超參數的確定方法、裝置、設備和介質

在審

• 申請號: 201811180164.1
• 申請日: 2018-10-10
• 公開（公告）號: CN111027579A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 周旭輝;徐曉飛;劉凱
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種超參數的確定方法，其特征在于，包括：

將確定的至少兩組超參數組分別設置于待訓練的基礎學習模型中，得到至少兩個目標學習模型，并利用訓練樣本對各目標學習模型進行訓練；

對訓練的各目標學習模型的預測效果進行測試，將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型；

繼續對各目標學習模型進行訓練，直至各目標學習模型滿足設定訓練停止條件，停止對各目標學習模型的訓練，根據各目標學習模型的預測效果從各目標學習模型設置的超參數組中選擇目標超參數組。

2.根據權利要求1所述的方法，其特征在在于，所述將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型包括：

根據各目標學習模型的預測效果，從各目標學習模型的超參數組中篩選出種子超參數組；

對種子超參數組進行復制，對復制的種子超參數組中的超參數進行擾動；

將經過擾動的種子超參數組設置于非種子超參數組的目標學習模型中，并替換非種子超參數組。

3.根據權利要求2所述的方法，其特征在于，所述根據各目標學習模型的預測效果，從各目標學習模型的超參數組中篩選出種子超參數組，包括：

根據各目標學習模型的預測效果，對各目標學習模型進行排序；

按照排序結果取預測效果位于前設定名次的目標學習模型的超參數組，作為種子超參數組。

4.根據權利要求2所述的方法，其特征在于，所述對種子超參數組進行復制，包括：

從所述種子超參數組中隨機選擇待復制的種子超參數組；

對待復制的種子超參數組進行復制。

5.根據權利要求2所述的方法，其特征在于，所述對種子超參數組進行復制，包括：

對所述種子超參數組分別進行復制。

6.根據權利要求1-5中任一所述的方法，其特征在于，所述將確定的至少兩組超參數組分別設置于類型和結構相同的至少兩個目標學習模型中，并利用訓練樣本對各目標學習模型進行訓練之前，還包括：

根據目標學習模型的超參數范圍，隨機確定設定組數的超參數組；或，

根據目標學習模型的超參數范圍，按照設定步長，確定設定組數的超參數組。

7.根據權利要求1所述的方法，其特征在于，所述對訓練的各目標學習模型的預測效果進行測試，包括：

若目標學習模型的訓練滿足設定訓練暫停條件，則停止對目標學習模型的訓練，對訓練的各目標學習模型的預測效果進行測試。

8.一種超參數的確定裝置，其特征在于，包括：

模型訓練模塊，用于將確定的至少兩組超參數組分別設置于待訓練的基礎學習模型中，得到至少兩個目標學習模型，并利用訓練樣本對各目標學習模型進行訓練；

超參數傳遞模塊，用于對訓練的各目標學習模型的預測效果進行測試，將預測效果滿足設定效果要求的目標學習模型的超參數組，傳遞給預測效果不滿足設定效果要求的目標學習模型；

最優超參數確定模塊，用于繼續對各目標學習模型進行訓練，直至各目標學習模型滿足設定訓練停止條件，停止對各目標學習模型的訓練，根據各目標學習模型的預測效果從各目標學習模型設置的超參數組中選擇目標超參數組。

9.根據權利要求8所述的裝置，其特征在在于，所述超參數傳遞模塊包括：

篩選單元，用于根據各目標學習模型的預測效果，從各目標學習模型的超參數組中篩選出種子超參數組；

隨機擾動單元，用于對種子超參數組進行復制，對復制的種子超參數組中的超參數進行擾動；

參數復制單元，用于將經過擾動的種子超參數組設置于非種子超參數組的目標學習模型中，并替換非種子超參數組。