[發(fā)明專利]一種用于機(jī)器學(xué)習(xí)方法的超參數(shù)推薦的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201980097550.0
• 申請(qǐng)日: 2019-07-02
• 公開(kāi)（公告）號(hào): CN114341894A
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 李雅亮;琳王;顏發(fā)才;丁博麟;孔維丹;李昭福;林偉;周靖人
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京清源匯知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11644
• 代理人: 馮德魁;張艷梅

可以啟動(dòng)或選擇不同的超參數(shù)組合作為輸入超參數(shù)組合集。使用訓(xùn)練子集通過(guò)機(jī)器學(xué)習(xí)方法訓(xùn)練對(duì)應(yīng)的學(xué)習(xí)模型實(shí)例，每個(gè)學(xué)習(xí)模型實(shí)例對(duì)應(yīng)輸入超參數(shù)組合集中的每個(gè)超參數(shù)組合。使用測(cè)試集獲取各個(gè)學(xué)習(xí)模型實(shí)例的性能結(jié)果。基于所述性能結(jié)果，根據(jù)多個(gè)不同選擇規(guī)則中的至少一個(gè)選擇規(guī)則，選擇一個(gè)或多個(gè)超參數(shù)組合，并加入到輸出超參數(shù)組合集中。將選擇的一個(gè)或多個(gè)超參數(shù)組合設(shè)置為輸入超參數(shù)組合集，重復(fù)上述過(guò)程，直到滿足終止條件。然后將在輸出超參數(shù)組合集中具有最優(yōu)性能結(jié)果的超參數(shù)組合用作機(jī)器學(xué)習(xí)方法的最終或最優(yōu)超參數(shù)組合。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)方法的發(fā)展，機(jī)器學(xué)習(xí)如今已被廣泛應(yīng)用于各種不同的應(yīng)用中，包括例如社交媒體服務(wù)、垃圾郵件和惡意軟件過(guò)濾、搜索引擎結(jié)果細(xì)化、產(chǎn)品推薦等。許多超參數(shù)需要事先定義，這些超參數(shù)通常是在開(kāi)始為特定應(yīng)用程序訓(xùn)練學(xué)習(xí)模型之前固定的參數(shù)。這些超參數(shù)影響和控制機(jī)器學(xué)習(xí)方法的行為(例如訓(xùn)練所需的總時(shí)間)和性能(例如學(xué)習(xí)模型的準(zhǔn)確率)，因此對(duì)于機(jī)器學(xué)習(xí)的成功至關(guān)重要方法。如果超參數(shù)的數(shù)量較少，且超參數(shù)各自的范圍有限，則可以采用窮舉搜索或網(wǎng)格搜索來(lái)確定超參數(shù)的最優(yōu)值。

然而，隨著數(shù)據(jù)的大小和復(fù)雜性的增加，如果可能的話，尋找超參數(shù)的最優(yōu)值也變得越來(lái)越耗時(shí)和資源密集。此外，機(jī)器學(xué)習(xí)方法和/或模型的日益復(fù)雜也增加需要搜索和確定的超參數(shù)組合的數(shù)量和復(fù)雜性，這進(jìn)一步增加了獲得對(duì)應(yīng)機(jī)器學(xué)習(xí)方法的超參數(shù)最優(yōu)值的難度。

發(fā)明內(nèi)容

本內(nèi)容介紹了將在下面的詳細(xì)描述中進(jìn)一步描述的超參數(shù)推薦的簡(jiǎn)化概念。該內(nèi)容不旨在確定要求保護(hù)的主題的基本特征，也不旨在用于限制要求保護(hù)的主題的范圍。

本申請(qǐng)描述了用于機(jī)器學(xué)習(xí)方法的超參數(shù)推薦的示例實(shí)現(xiàn)。在實(shí)施中，可以啟動(dòng)或選擇多個(gè)不同的超參數(shù)組合作為輸入超參數(shù)組合集。使用訓(xùn)練集的子集通過(guò)機(jī)器學(xué)習(xí)方法對(duì)各個(gè)學(xué)習(xí)模型實(shí)例進(jìn)行訓(xùn)練，每個(gè)學(xué)習(xí)模型實(shí)例對(duì)應(yīng)于輸入超參數(shù)組合集中的每個(gè)超參數(shù)組合。使用測(cè)試集獲取各個(gè)學(xué)習(xí)模型實(shí)例的性能結(jié)果。基于所述性能結(jié)果，根據(jù)多個(gè)不同選擇規(guī)則中的至少一個(gè)選擇規(guī)則，選擇一個(gè)或多個(gè)超參數(shù)組合，并加入到輸出超參數(shù)組合集中。將選擇的一個(gè)或多個(gè)超參數(shù)組合設(shè)置為輸入超參數(shù)組合集合，重復(fù)上述過(guò)程，直到滿足終止條件。然后將在輸出超參數(shù)組合集中具有最優(yōu)性能結(jié)果的超參數(shù)組合用作機(jī)器學(xué)習(xí)方法的最終或最優(yōu)超參數(shù)組合。

附圖說(shuō)明

本文詳細(xì)描述參照附圖得以闡述。在附圖中，參考編號(hào)最左邊的數(shù)字表示參考編號(hào)第一次出現(xiàn)的圖。在不同的圖中使用相同的附圖標(biāo)記表示相似或相同的項(xiàng)目。

圖1示出了可以使用超參數(shù)推薦系統(tǒng)的示例環(huán)境。

圖2更詳細(xì)地示出了示例超參數(shù)推薦系統(tǒng)。

圖3示出了確定和推薦超參數(shù)組合的第一示例方法。

圖4示出了確定和推薦超參數(shù)組合的第二示例方法。

具體實(shí)施方式

概述

如上所述，現(xiàn)有技術(shù)需要在開(kāi)始機(jī)器學(xué)習(xí)過(guò)程之前確定多個(gè)超參數(shù)。由于訓(xùn)練和測(cè)試涉及的數(shù)據(jù)規(guī)模大并且復(fù)雜，機(jī)器學(xué)習(xí)方法的復(fù)雜性，以及超參數(shù)數(shù)量多、范圍廣，現(xiàn)有技術(shù)中確定合適或最優(yōu)的超參數(shù)集(或超參數(shù)組合)需要大量的數(shù)據(jù)時(shí)間、大量的計(jì)算和存儲(chǔ)資源，由于資源有限，這會(huì)導(dǎo)致機(jī)器學(xué)習(xí)方法由于資源有限而獲得次優(yōu)的超參數(shù)組合。

本公開(kāi)描述了示例超參數(shù)推薦系統(tǒng)。超參數(shù)推薦系統(tǒng)對(duì)訓(xùn)練集的一個(gè)子集進(jìn)行采樣，該子集在機(jī)器學(xué)習(xí)過(guò)程的每次迭代后都會(huì)發(fā)生變化(例如，該子集的大小逐漸增加等)。超參數(shù)推薦系統(tǒng)還采用多種不同的選擇規(guī)則輸出在機(jī)器學(xué)習(xí)過(guò)程的一次迭代結(jié)束時(shí)獲得的一個(gè)或多個(gè)超參數(shù)組合，并將該一個(gè)或多個(gè)超參數(shù)組合作為機(jī)器學(xué)習(xí)過(guò)程下一次迭代的新輸入，從而允許以平衡的方式探索和利用潛在的超參數(shù)組合。