[發(fā)明專利]機器學習模型中超參數(shù)的優(yōu)化方法及裝置

有效

• 申請?zhí)枺?/td>: 201910042801.7
• 申請日: 2019-01-17
• 公開（公告）號: CN109816116B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設計）人: 徐紹勇;黃維東
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 于天琳;王琦

本申請實施例提供了一種機器學習模型中超參數(shù)的優(yōu)化方法，包括：發(fā)送任務配置文件至服務器，其中，所述任務配置文件包含超參數(shù)、第一算法類型、以及參數(shù)搜索范圍，所述服務器運行超參數(shù)優(yōu)化任務，以根據(jù)所述參數(shù)搜索范圍和所述第一算法類型對應的第一超參數(shù)優(yōu)化算法，計算得到所述超參數(shù)的候選值；從所述服務器獲取所述超參數(shù)的候選值；對所述超參數(shù)的候選值進行驗證，并根據(jù)驗證結果更新所述任務配置文件；將更新后的所述任務配置文件發(fā)送至所述服務器，其中，所述服務器根據(jù)所述更新后的任務配置文件，繼續(xù)運行所述超參數(shù)優(yōu)化任務，并得到新的候選值；當所述超參數(shù)優(yōu)化任務運行結束之后，根據(jù)各候選值的驗證結果，確定所述超參數(shù)的最優(yōu)值。

技術領域

本申請涉及人工智能領域，尤其涉及一種機器學習模型中超參數(shù)的優(yōu)化方法及裝置。

背景技術

在使用機器學習來完成圖像識別、自然語言處理等任務時，需要先訓練機器學習模型，訓練的過程包括調整機器學習模型的參數(shù)的過程。機器學習模型的參數(shù)主要有超參數(shù)和普通參數(shù)兩類，其中，超參數(shù)是在開始學習過程之前設置值的參數(shù)，而不是通過訓練得到的參數(shù)數(shù)據(jù)。超參數(shù)定義了關于機器學習模型的更高層次的概念，如網絡深度、學習率等等，而超參數(shù)的選擇對于機器學習模型最終的效果有極大的影響。

在機器學習過程中需要對超參數(shù)進行優(yōu)化，給機器學習模型選擇一組最優(yōu)的超參數(shù)組合，以提高機器學習的性能和效果。

為了尋找一組最優(yōu)的超參數(shù)組合，可以采用網格搜索、隨機搜索、貝葉斯優(yōu)化等方法。例如，在網格搜索方法中，客戶端可以先設置好搜索范圍，然后提交給調參服務系統(tǒng)，調參服務系統(tǒng)根據(jù)該搜索范圍進行搜索，待搜索完成后，將最終結果反饋給客戶端。

對于上述的調參服務系統(tǒng)，通常只針對某種特定的機器學習模型或某種特定超參數(shù)優(yōu)化算法。并且超參數(shù)的調優(yōu)請求是單次的，用戶預先設置好超參數(shù)的搜索范圍和次數(shù)，這個調參過程中，用戶無法與調參服務系統(tǒng)進行交互，來動態(tài)調整超參數(shù)的搜索范圍，使得整個調參過程無法人為調整，效率較低，同時容易陷入局部最優(yōu)。而且，每個調參任務都是重新開始，沒有利用歷史任務結果，耗費的時間較長。

發(fā)明內容

本申請實施例提供了一種機器學習模型中超參數(shù)的優(yōu)化方法和裝置，從而能夠在機器學習模型的超參數(shù)優(yōu)化過程中，對超參數(shù)的參數(shù)搜索范圍進行動態(tài)調整，提高超參數(shù)優(yōu)化的效率。

本申請的實施例提供了一種機器學習模型中超參數(shù)的優(yōu)化方法，包括：

發(fā)送任務配置文件至服務器，其中，所述任務配置文件包含機器學習模型中待優(yōu)化的超參數(shù)、第一算法類型、以及參數(shù)搜索范圍，所述服務器運行超參數(shù)優(yōu)化任務，以根據(jù)所述參數(shù)搜索范圍和所述第一算法類型對應的第一超參數(shù)優(yōu)化算法，計算得到所述超參數(shù)的候選值；

從所述服務器獲取所述超參數(shù)的候選值；

對所述超參數(shù)的候選值進行驗證，并根據(jù)驗證結果更新所述任務配置文件；

將更新后的所述任務配置文件發(fā)送至所述服務器，其中，所述服務器根據(jù)所述更新后的任務配置文件，繼續(xù)運行所述超參數(shù)優(yōu)化任務，并得到新的候選值；

當所述超參數(shù)優(yōu)化任務運行結束之后，根據(jù)各候選值的驗證結果，確定所述超參數(shù)的最優(yōu)值。

本申請實施例還提供了一種機器學習模型中超參數(shù)的優(yōu)化方法，包括：

接收終端設備發(fā)送的任務配置文件，所述任務配置文件中包括機器學習模型中待優(yōu)化的超參數(shù)、第一算法類型、以及參數(shù)搜索范圍；

運行超參數(shù)優(yōu)化任務，以根據(jù)所述參數(shù)搜索范圍和所述第一算法類型對應的第一超參數(shù)優(yōu)化算法，計算得到所述超參數(shù)的候選值；

暫停所述超參數(shù)優(yōu)化任務的運行，將所述超參數(shù)的候選值發(fā)送給所述終端設備，其中，所述終端設備對所述候選值進行驗證，并根據(jù)驗證結果更新所述任務配置文件；