[發明專利]一種超參數確定方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202110160308.2
• 申請日: 2021-02-05
• 公開（公告）號: CN112529211B
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 劉紫薇;宋輝;董井然;陳守志
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 劉自麗

本申請實施例公開了一種超參數確定方法、裝置、計算機設備和存儲介質；本申請實施例可以獲取至少一個待訓練模型的超參數組，待訓練模型屬于目標模型類型，超參數組包括至少一個維度的超參數，每個維度的超參數指示待訓練模型在每個維度下的模型結構特征；將目標超參數組分配給分布式集群中的目標超參數評估節點；通過目標超參數評估節點，采用目標超參數組對目標待訓練模型進行模型訓練，目標待訓練模型為目標超參數組對應的待訓練模型；對訓練后模型進行模型評估，得到每個超參數組的超參數評估結果；基于超參數評估結果，從超參數組中選取目標模型類型的最優超參數組。該方案可以通過提高超參數調優的效率來高效地確定超參數。

技術領域

本申請涉及計算機技術領域，具體涉及一種超參數確定方法、裝置、計算機設備和存儲介質。

背景技術

在機器學習的上下文中，超參數是在開始學習過程之前設置值的參數，而不是通過訓練得到的參數數據。通常情況下，需要對超參數進行優化，給學習機選擇一組最優超參數，以提高學習的性能和效果。

不少機器學習模型訓練前需預先設定超參數值，且超參數取值對提升模型學習性能及效果有重要作用。尤其當超參數個數較多時，如何確定各超參數取值給建模人員提出了不小挑戰。本申請的發明人發現，目前通常采用經驗法直接確定，這使得超參數的調優效率十分低下，且確定超參數的方法也十分有限，亟需改善。

發明內容

本申請實施例提供一種超參數確定方法、裝置、計算機設備和存儲介質，可以通過提高超參數調優的效率來高效地確定超參數。

本申請實施例提供一種超參數確定方法，包括：

獲取至少一個待訓練模型的超參數組，其中，所述待訓練模型屬于目標模型類型，所述超參數組包括至少一個維度的超參數，每個維度的超參數指示所述待訓練模型在每個維度下的模型結構特征；

將目標超參數組分配給分布式集群中的目標超參數評估節點；

通過所述目標超參數評估節點，采用所述目標超參數組對目標待訓練模型進行模型訓練，其中，所述目標待訓練模型為所述目標超參數組對應的待訓練模型；

對訓練后模型進行模型評估，以確定所述目標超參數組的目標超參數評估結果，得到每個超參數組的超參數評估結果；

基于所述超參數評估結果，從所述超參數組中選取所述目標模型類型的最優超參數組。

相應的，本申請實施例還提供一種超參數確定裝置，包括：

獲取單元，用于獲取至少一個待訓練模型的超參數組，其中，所述待訓練模型屬于目標模型類型，所述超參數組包括至少一個維度的超參數，每個維度的超參數指示所述待訓練模型在每個維度下的模型結構特征；

分配單元，用于將目標超參數組分配給分布式集群中的目標超參數評估節點；

訓練單元，用于通過所述目標超參數評估節點，采用所述目標超參數組對目標待訓練模型進行模型訓練，其中，所述目標待訓練模型為所述目標超參數組對應的待訓練模型；

評估單元，用于對訓練后模型進行模型評估，以確定所述目標超參數組的目標超參數評估結果，得到每個超參數組的超參數評估結果；

選取單元，用于基于所述超參數評估結果，從所述超參數組中選取所述目標模型類型的最優超參數組。

在一實施例中，所述訓練單元，包括：

同步子單元，用于將進行模型訓練所需的數據集同步至所述目標超參數評估節點；

調整子單元，用于采用所述目標超參數組調整目標待訓練模型的模型結構；

訓練子單元，用于基于所述數據集，通過所述目標超參數評估節點對調整后的目標待訓練模型進行模型訓練，得到訓練后模型。