[發明專利]一種無監督機器學習的超參數自動優化方法及系統

在審

• 申請號: 201711347747.4
• 申請日: 2017-12-15
• 公開（公告）號: CN108062587A
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 王建民;龍明盛;付博;黃向東
• 申請（專利權）人: 清華大學
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種無監督機器學習的超參數自動優化方法及系統，所述方法包括：根據無監督機器學習算法確定所述無監督機器學習算法的算法性能評估模型、所述無監督機器學習算法的超參數、所述超參數的搜索空間和所述超參數優化的評價準則；根據所述算法性能評估模型、所述搜索空間和所述評價準則確定所述超參數的最優值。本發明提供的無監督機器學習的超參數自動優化方法及系統，對無監督機器學習算法中的超參數問題進行深入剖析，分析算法中超參數的分布規律和不同超參數下學習效果的評估，并將此規律應用于機器學習的模型訓練，達到自動化選擇合適超參數的目的，整個超參數的優化過程自動完成，優化效率高，大大降低了算法的使用復雜性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種無監督機器學習的超參數自動優化方法及系統。

背景技術

機器學習算法的參數主要有超參數和普通參數兩類，其中，超參數是在開始學習過程之前設置值的參數，而不是通過訓練得到的參數數據。超參數定義了關于模型的更高層次的概念，如復雜性或學習能力，而這些超參數對于算法性能有非常大的影響。

現有技術中，無監督機器學習算法超參數的調優通常需要專家經驗，對于給定的問題，一般無法知道機器學習模型超參數的最優值，往往需要使用經驗法則來探尋其最優值，或復制用于其他問題的值，也可以通過反復試驗獲得超參數的最優值。

上述獲取超參數最優值的方法，需要有一定的專家經驗，通過試驗得到超參數的最優值，需要花費大量的時間和精力，優化效率低。

發明內容

(一)要解決的技術問題

本發明的目的是提供一種無監督機器學習的超參數自動優化方法及系統，解決了現有技術中超參數優化方法的優化效率低的技術問題。

(二)技術方案

為了解決上述技術問題，一方面，本發明提供一種無監督機器學習的超參數自動優化方法，包括：

根據無監督機器學習算法確定所述無監督機器學習算法的算法性能評估模型、所述無監督機器學習算法的超參數、所述超參數的搜索空間和所述超參數優化的評價準則；

根據所述算法性能評估模型、所述搜索空間和所述評價準則確定所述超參數的最優值。

進一步地，所述根據無監督機器學習算法確定所述無監督機器學習算法的算法性能評估模型、所述無監督機器學習算法的超參數、所述超參數的搜索空間和所述超參數優化的評價準則具體為：

根據無監督機器學習算法在預設知識庫中查找所述無監督機器學習算法的算法性能評估模型和所述無監督機器學習算法的超參數，以及所述超參數的搜索空間和所述超參數優化的評價準則；其中，所述預設知識庫存儲有無監督機器學習算法，以及與所述無監督機器學習算法對應的算法性能評估模型、超參數、超參數的搜索空間和超參數優化的評價準則。

進一步地，所述預設知識庫中存儲的無監督機器學習算法超參數的搜索空間根據經驗值確定。

進一步地，所述根據所述算法性能評估模型、所述搜索空間和所述評價準則確定所述超參數的最優值，包括：

根據所述搜索空間，利用所述評價準則，獲取多組所述超參數的初始值；

將每組超參數的初始值分別輸入至所述無監督機器學習算法，獲取多組包含超參數初始值的無監督機器學習算法；

對每組包含超參數初始值的無監督機器學習算法進行訓練，獲取訓練結果；

根據所述訓練結果，利用所述算法性能評估模型，確定超參數的最優值，其中，所述超參數的最優值為算法性能最優的一組超參數的初始值。