[發(fā)明專利]超參數(shù)優(yōu)化方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911110640.7
• 申請日: 2019-11-14
• 公開（公告）號: CN111105040A
• 公開（公告）日: 2020-05-05
• 發(fā)明（設(shè)計）人: 侯皓齡;劉云峰
• 申請（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 廣州華進聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 劉羚

1.一種超參數(shù)優(yōu)化方法，所述方法包括：

獲取預(yù)設(shè)數(shù)量的超參數(shù)組，通過已訓(xùn)練好的經(jīng)驗?zāi)Ｐ头謩e預(yù)測每個超參數(shù)組的超參數(shù)組評分；

根據(jù)所述超參數(shù)組評分從所獲取到的超參數(shù)組中篩選候選超參數(shù)組；

按照所述候選超參數(shù)組和預(yù)設(shè)的機器學(xué)習(xí)算子，根據(jù)目標(biāo)問題對應(yīng)的訓(xùn)練樣本集進行模型訓(xùn)練，得到已訓(xùn)練的目標(biāo)問題預(yù)測模型；

根據(jù)所述目標(biāo)問題對應(yīng)的測試樣本集對所述目標(biāo)問題預(yù)測模型進行測試，得到所述候選超參數(shù)組對應(yīng)的評估值；

根據(jù)所述評估值更新所述目標(biāo)問題當(dāng)前對應(yīng)的參考評估值，并返回至所述獲取預(yù)設(shè)數(shù)量的超參數(shù)組，通過已訓(xùn)練好的經(jīng)驗?zāi)Ｐ头謩e預(yù)測每個超參數(shù)組的超參數(shù)組評分的步驟繼續(xù)執(zhí)行，直至符合迭代停止條件；

將所述目標(biāo)問題對應(yīng)的參考評估值所對應(yīng)的候選超參數(shù)組，確定為目標(biāo)超參數(shù)組。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，已訓(xùn)練好的經(jīng)驗?zāi)Ｐ陀卸鄠€；所述獲取預(yù)設(shè)數(shù)量的超參數(shù)組，通過已訓(xùn)練好的經(jīng)驗?zāi)Ｐ头謩e預(yù)測每個超參數(shù)組的超參數(shù)組評分，包括：

獲取超參數(shù)組；

通過已訓(xùn)練好的多個經(jīng)驗?zāi)Ｐ头謩e對所述超參數(shù)組進行預(yù)測，得到所述超參數(shù)組的多個超參數(shù)組子評分；

根據(jù)所述多個超參數(shù)組子評分得到所述超參數(shù)組的超參數(shù)組評分，并返回至所述獲取超參數(shù)組的步驟繼續(xù)執(zhí)行，直至得到預(yù)設(shè)數(shù)量的超參數(shù)組評分。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個超參數(shù)組子評分得到所述超參數(shù)組的超參數(shù)組評分，包括：

將所述多個超參數(shù)組子評分按照相應(yīng)經(jīng)驗?zāi)Ｐ退鶎?yīng)的權(quán)重進行加權(quán)求和，得到所述超參數(shù)組的超參數(shù)組評分；

所述方法還包括：

根據(jù)所述候選超參數(shù)組對應(yīng)的多個超參數(shù)組子評分，動態(tài)更新每個經(jīng)驗?zāi)Ｐ退鶎?yīng)的權(quán)重。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述候選超參數(shù)組對應(yīng)的多個超參數(shù)組子評分，動態(tài)更新每個經(jīng)驗?zāi)Ｐ退鶎?yīng)的權(quán)重，包括：

獲取所述候選超參數(shù)組對應(yīng)的多個超參數(shù)組子評分；

根據(jù)所獲取到的所述超參數(shù)組子評分，確定每個經(jīng)驗?zāi)Ｐ蛯?yīng)的目標(biāo)問題標(biāo)簽；

根據(jù)每個經(jīng)驗?zāi)Ｐ蛯?yīng)的超參數(shù)組子評分和目標(biāo)問題標(biāo)簽，動態(tài)更新相應(yīng)經(jīng)驗?zāi)Ｐ退鶎?yīng)的權(quán)重。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)每個經(jīng)驗?zāi)Ｐ蛯?yīng)的超參數(shù)組子評分和目標(biāo)問題標(biāo)簽，動態(tài)更新相應(yīng)經(jīng)驗?zāi)Ｐ退鶎?yīng)的權(quán)重，包括：

根據(jù)每個經(jīng)驗?zāi)Ｐ蛯?yīng)的超參數(shù)組子評分、目標(biāo)問題標(biāo)簽和權(quán)重，按照預(yù)設(shè)映射關(guān)系動態(tài)確定相應(yīng)的目標(biāo)權(quán)重；

對所述目標(biāo)權(quán)重進行歸一化處理，得到每個經(jīng)驗?zāi)Ｐ蛯?yīng)的更新后的權(quán)重。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述超參數(shù)組評分從所獲取到的超參數(shù)組中篩選候選超參數(shù)組，包括：

從預(yù)測得到的超參數(shù)組評分中篩選最大的超參數(shù)組評分；

將篩選出的超參數(shù)組評分對應(yīng)的超參數(shù)組確定為候選超參數(shù)組；

所述根據(jù)所述評估值更新所述目標(biāo)問題當(dāng)前對應(yīng)的參考評估值，包括：

當(dāng)所述評估值大于或等于所述目標(biāo)問題當(dāng)前對應(yīng)的參考評估值時，將所述參考評估值更新為所述評估值。

7.根據(jù)權(quán)利要求1至6任意一項所述的方法，其特征在于，所述經(jīng)驗?zāi)Ｐ偷挠?xùn)練步驟，包括：

獲取經(jīng)驗數(shù)據(jù)集；所述經(jīng)驗數(shù)據(jù)集包括經(jīng)驗超參數(shù)組和相應(yīng)的經(jīng)驗超參數(shù)組評分；

將所述經(jīng)驗超參數(shù)組作為輸入特征，將相應(yīng)的經(jīng)驗超參數(shù)組評分作為期望的輸出特征進行模型訓(xùn)練，得到已訓(xùn)練的經(jīng)驗?zāi)Ｐ汀?/p>