[發(fā)明專利]一種超參數(shù)確定方法、裝置、計算機設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110160308.2
• 申請日: 2021-02-05
• 公開（公告）號: CN112529211B
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 劉紫薇;宋輝;董井然;陳守志
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳翼盛智成知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 劉自麗

本申請實施例公開了一種超參數(shù)確定方法、裝置、計算機設(shè)備和存儲介質(zhì)；本申請實施例可以獲取至少一個待訓(xùn)練模型的超參數(shù)組，待訓(xùn)練模型屬于目標(biāo)模型類型，超參數(shù)組包括至少一個維度的超參數(shù)，每個維度的超參數(shù)指示待訓(xùn)練模型在每個維度下的模型結(jié)構(gòu)特征；將目標(biāo)超參數(shù)組分配給分布式集群中的目標(biāo)超參數(shù)評估節(jié)點；通過目標(biāo)超參數(shù)評估節(jié)點，采用目標(biāo)超參數(shù)組對目標(biāo)待訓(xùn)練模型進行模型訓(xùn)練，目標(biāo)待訓(xùn)練模型為目標(biāo)超參數(shù)組對應(yīng)的待訓(xùn)練模型；對訓(xùn)練后模型進行模型評估，得到每個超參數(shù)組的超參數(shù)評估結(jié)果；基于超參數(shù)評估結(jié)果，從超參數(shù)組中選取目標(biāo)模型類型的最優(yōu)超參數(shù)組。該方案可以通過提高超參數(shù)調(diào)優(yōu)的效率來高效地確定超參數(shù)。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，具體涉及一種超參數(shù)確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。

背景技術(shù)

在機器學(xué)習(xí)的上下文中，超參數(shù)是在開始學(xué)習(xí)過程之前設(shè)置值的參數(shù)，而不是通過訓(xùn)練得到的參數(shù)數(shù)據(jù)。通常情況下，需要對超參數(shù)進行優(yōu)化，給學(xué)習(xí)機選擇一組最優(yōu)超參數(shù)，以提高學(xué)習(xí)的性能和效果。

不少機器學(xué)習(xí)模型訓(xùn)練前需預(yù)先設(shè)定超參數(shù)值，且超參數(shù)取值對提升模型學(xué)習(xí)性能及效果有重要作用。尤其當(dāng)超參數(shù)個數(shù)較多時，如何確定各超參數(shù)取值給建模人員提出了不小挑戰(zhàn)。本申請的發(fā)明人發(fā)現(xiàn)，目前通常采用經(jīng)驗法直接確定，這使得超參數(shù)的調(diào)優(yōu)效率十分低下，且確定超參數(shù)的方法也十分有限，亟需改善。

發(fā)明內(nèi)容

本申請實施例提供一種超參數(shù)確定方法、裝置、計算機設(shè)備和存儲介質(zhì)，可以通過提高超參數(shù)調(diào)優(yōu)的效率來高效地確定超參數(shù)。

本申請實施例提供一種超參數(shù)確定方法，包括：

獲取至少一個待訓(xùn)練模型的超參數(shù)組，其中，所述待訓(xùn)練模型屬于目標(biāo)模型類型，所述超參數(shù)組包括至少一個維度的超參數(shù)，每個維度的超參數(shù)指示所述待訓(xùn)練模型在每個維度下的模型結(jié)構(gòu)特征；

將目標(biāo)超參數(shù)組分配給分布式集群中的目標(biāo)超參數(shù)評估節(jié)點；

通過所述目標(biāo)超參數(shù)評估節(jié)點，采用所述目標(biāo)超參數(shù)組對目標(biāo)待訓(xùn)練模型進行模型訓(xùn)練，其中，所述目標(biāo)待訓(xùn)練模型為所述目標(biāo)超參數(shù)組對應(yīng)的待訓(xùn)練模型；

對訓(xùn)練后模型進行模型評估，以確定所述目標(biāo)超參數(shù)組的目標(biāo)超參數(shù)評估結(jié)果，得到每個超參數(shù)組的超參數(shù)評估結(jié)果；

基于所述超參數(shù)評估結(jié)果，從所述超參數(shù)組中選取所述目標(biāo)模型類型的最優(yōu)超參數(shù)組。

相應(yīng)的，本申請實施例還提供一種超參數(shù)確定裝置，包括：

獲取單元，用于獲取至少一個待訓(xùn)練模型的超參數(shù)組，其中，所述待訓(xùn)練模型屬于目標(biāo)模型類型，所述超參數(shù)組包括至少一個維度的超參數(shù)，每個維度的超參數(shù)指示所述待訓(xùn)練模型在每個維度下的模型結(jié)構(gòu)特征；

分配單元，用于將目標(biāo)超參數(shù)組分配給分布式集群中的目標(biāo)超參數(shù)評估節(jié)點；

訓(xùn)練單元，用于通過所述目標(biāo)超參數(shù)評估節(jié)點，采用所述目標(biāo)超參數(shù)組對目標(biāo)待訓(xùn)練模型進行模型訓(xùn)練，其中，所述目標(biāo)待訓(xùn)練模型為所述目標(biāo)超參數(shù)組對應(yīng)的待訓(xùn)練模型；

評估單元，用于對訓(xùn)練后模型進行模型評估，以確定所述目標(biāo)超參數(shù)組的目標(biāo)超參數(shù)評估結(jié)果，得到每個超參數(shù)組的超參數(shù)評估結(jié)果；

選取單元，用于基于所述超參數(shù)評估結(jié)果，從所述超參數(shù)組中選取所述目標(biāo)模型類型的最優(yōu)超參數(shù)組。

在一實施例中，所述訓(xùn)練單元，包括：

同步子單元，用于將進行模型訓(xùn)練所需的數(shù)據(jù)集同步至所述目標(biāo)超參數(shù)評估節(jié)點；

調(diào)整子單元，用于采用所述目標(biāo)超參數(shù)組調(diào)整目標(biāo)待訓(xùn)練模型的模型結(jié)構(gòu)；

訓(xùn)練子單元，用于基于所述數(shù)據(jù)集，通過所述目標(biāo)超參數(shù)評估節(jié)點對調(diào)整后的目標(biāo)待訓(xùn)練模型進行模型訓(xùn)練，得到訓(xùn)練后模型。