[發(fā)明專利]機器學(xué)習(xí)模型中超參數(shù)的優(yōu)化方法及裝置

有效

• 申請?zhí)枺?/td>: 201910042801.7
• 申請日: 2019-01-17
• 公開（公告）號: CN109816116B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 徐紹勇;黃維東
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 于天琳;王琦

1.一種機器學(xué)習(xí)模型中超參數(shù)的優(yōu)化方法，其特征在于，由終端設(shè)備執(zhí)行，包括：

發(fā)送任務(wù)配置文件至服務(wù)器，其中，所述任務(wù)配置文件包含機器學(xué)習(xí)模型中待優(yōu)化的超參數(shù)、第一算法類型、以及參數(shù)搜索范圍，所述服務(wù)器運行超參數(shù)優(yōu)化任務(wù)，以根據(jù)所述參數(shù)搜索范圍和所述第一算法類型對應(yīng)的第一超參數(shù)優(yōu)化算法，計算得到所述超參數(shù)的候選值；

在服務(wù)器執(zhí)行超參數(shù)優(yōu)化任務(wù)的過程中，從所述服務(wù)器獲取所述超參數(shù)的候選值；其中，所述服務(wù)器暫停所述超參數(shù)優(yōu)化任務(wù)的運行，將所述超參數(shù)的候選值發(fā)送給所述終端設(shè)備；

對所述超參數(shù)的候選值進(jìn)行驗證；

接收圖形化展示命令，根據(jù)驗證結(jié)果取值范圍與驗證結(jié)果顯示方式之間的對應(yīng)關(guān)系，確定所述驗證結(jié)果的顯示方式；

根據(jù)確定的所述驗證結(jié)果的顯示方式展示所述驗證結(jié)果，并展示所述超參數(shù)的候選值；

根據(jù)所述機器學(xué)習(xí)模型的目標(biāo)準(zhǔn)確率，確定出所述驗證結(jié)果中與所述目標(biāo)準(zhǔn)確率之差小于閾值的驗證結(jié)果，

根據(jù)所確定的驗證結(jié)果所對應(yīng)的所述超參數(shù)的候選值的分布情況，確定出新的參數(shù)搜索范圍；

根據(jù)所述新的參數(shù)搜索范圍，更新所述任務(wù)配置文件；

將更新后的所述任務(wù)配置文件發(fā)送至所述服務(wù)器，其中，所述服務(wù)器根據(jù)所述更新后的任務(wù)配置文件，繼續(xù)運行所述超參數(shù)優(yōu)化任務(wù)，并得到新的候選值；

當(dāng)所述超參數(shù)優(yōu)化任務(wù)運行結(jié)束之后，根據(jù)各候選值的驗證結(jié)果，確定所述超參數(shù)的最優(yōu)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括：

獲取與所述待優(yōu)化的超參數(shù)對應(yīng)的一個或多個歷史值；其中，所述歷史值是從所述服務(wù)器運行其他超參數(shù)優(yōu)化任務(wù)得到的候選值中選擇出來的；

將所述超參數(shù)的一個或多個歷史值發(fā)送至所述服務(wù)器；其中，所述服務(wù)器進(jìn)一步根據(jù)所述一個或多個歷史值和所述參數(shù)搜索范圍得到所述超參數(shù)的多個參考值，并根據(jù)所述參考值和所述第一超參數(shù)優(yōu)化算法，計算得到所述超參數(shù)的候選值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述超參數(shù)的候選值進(jìn)行驗證，包括：

根據(jù)所述超參數(shù)的候選值和第一驗證集多次運行所述機器學(xué)習(xí)模型，將多次運行所述機器模型得到的結(jié)果的平均值作為所述驗證結(jié)果，所述驗證結(jié)果用于表征所述機器學(xué)習(xí)模型的準(zhǔn)確率。

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，進(jìn)一步包括：

向所述服務(wù)器發(fā)送暫停命令，以使所述服務(wù)器暫停運行所述超參數(shù)優(yōu)化任務(wù)；

接收用戶輸入的第二算法類型，并根據(jù)所述第二算法類型，更新所述任務(wù)配置文件；

向所述服務(wù)器發(fā)送更新命令，所述更新命令攜帶更新后的所述任務(wù)配置文件和所述超參數(shù)優(yōu)化任務(wù)對應(yīng)的任務(wù)標(biāo)識，以使所述服務(wù)器根據(jù)所述任務(wù)標(biāo)識確定所述超參數(shù)優(yōu)化任務(wù)，并根據(jù)更新后的所述任務(wù)配置文件，繼續(xù)運行所述超參數(shù)優(yōu)化任務(wù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括：根據(jù)以下方法中的至少一種確定所述參數(shù)搜索范圍：

獲取與所述待優(yōu)化的超參數(shù)對應(yīng)的多個歷史值；其中，所述歷史值是從所述服務(wù)器運行其他超參數(shù)優(yōu)化任務(wù)得到的候選值中選擇出來的；根據(jù)所述多個歷史值的分布確定所述參數(shù)搜索范圍；及

接收用戶輸入的所述參數(shù)搜索范圍。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各候選值的驗證結(jié)果，確定所述超參數(shù)的最優(yōu)值，包括：

從所述各候選值中，選擇驗證結(jié)果與所述機器學(xué)習(xí)模型的目標(biāo)準(zhǔn)確率之差小于閾值的多個候選值；

分別根據(jù)所述多個候選值和第二驗證集運行所述機器學(xué)習(xí)模型，得到多個運行結(jié)果；

從所述多個運行結(jié)果中，選擇最優(yōu)的運行結(jié)果對應(yīng)的候選值作為所述超參數(shù)的最優(yōu)值。