[發明專利]使用超參數預測器提高自動機器學習模型選擇的準確度

在審

• 申請號: 202080038456.0
• 申請日: 2020-04-02
• 公開（公告）號: CN114008641A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: H·F·莫漢達姆;S·阿格爾沃;V·瓦拉達拉珍;A·雅科夫列夫;S·伊蒂庫拉;N·阿格爾沃
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06N3/04;G06N3/08;G06N5/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 羅亞男

在實施例中，對于多個微型機器學習模型(MML模型)中的每個MML模型，訓練預測第一數據集的相應超參數設置集的相應超參數預測器集。每個MML模型表示多個參考機器學習模型(RML模型)中的相應RML模型。從第一數據集生成第一多個數據集樣本。生成第一多個第一元特征集。使用超調算法為所述每個MML模型生成相應的超參數設置目標集。第一多個第一元特征集和相應的超參數設置目標集用于訓練相應的超參數預測器集。每個超參數預測器集用于提高為每個數據集選擇RML模型的準確度。

技術領域

本公開涉及機器元學習。本文介紹了用于基于經訓練的特定于算法的回歸器的性能預測對機器學習算法進行優化選擇的技術，以及用于訓練回歸器的技術。

背景技術

本節中描述的方法是可以采用的方法，但不一定是先前已經設想或采用的方法。因此，除非另有說明，否則不應僅由于將本節中所述的任何方法包括在本節中而認為本節中的任何方法都有資格作為現有技術。

機器學習用于各種應用和領域，諸如醫療保健、物聯網(IOT)、金融和安全。數十年的研究已經創造了大量可以應用于這些應用的算法和技術。為應用選擇最佳算法可能很困難且需要大量資源。例如，分類任務可以通過幾種算法來完成，諸如支持向量機(SVM)、隨機森林、決策樹、人工神經網絡，等等。這些算法中的每個算法都有許多變體和配置，并且對不同的數據集有不同的表現。選擇最佳算法通常是由具有多年經驗的數據科學家或機器學習專家執行的手動任務。

一些自動算法選擇技術諸如在產品研究和開發(RD)期間產生大量的計算開銷，這會延長上市時間。有數百種機器學習算法。訓練和測試每一種以找到最佳表現可能是不可行的。選擇性訓練的自動方法通常最終使用單個回歸器/分類器來預測算法性能，這會導致不同算法在選擇模型中相互干擾，從而降低準確度。這些方法也沒有考慮會顯著影響算法性能和行為的算法超參數。

附圖說明

在附圖中：

圖1是描繪在實施例中基于通過使用超參數預測器的性能預測來最佳地選擇可訓練算法的示例計算機的框圖。

圖2是圖示在實施例中使用預測的超參數的自動模型選擇訓練過程的框圖。

圖3是描繪在實施例中基于通過使用超參數預測器的性能預測來最佳地選擇可訓練算法的示例處理的流程圖。

圖4是圖示在實施例中測量的使用預測的超參數的回歸器的R2分數的改進的條形圖。

圖5是圖示可以用于控制計算系統的操作的基本軟件系統的框圖。

圖6是圖示可以在其上實現本發明的實施例的計算機系統的框圖。

具體實施方式

在以下描述中，出于解釋的目的，闡述了許多具體細節以便提供對本發明的透徹理解。但是，將顯而易見的是，可以在沒有這些具體細節的情況下實踐本發明。在其它情況下，以框圖形式示出了眾所周知的結構和設備，以避免不必要地混淆本發明。

總體概述

提供了用于基于由經訓練的特定于算法的回歸器使用超參數預測器的性能預測來選擇機器學習算法的技術。

使用兩級方法來訓練自動模型選擇模型，該自動模型選擇模型使用經訓練的微型模型和關于數據集的數據集元特征(“元特征”)來為數據集選擇最佳機器模型。微型模型是參考模型(RML)，即完整模型，的較小版本，并且需要較少的計算資源來訓練。經訓練的微型模型使用超參數預測器基于數據集的元特征預測的超參數。超參數預測器是本文稱為超參數預測器的機器學習模型。