[發(fā)明專利]機(jī)器學(xué)習(xí)算法的參數(shù)調(diào)優(yōu)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010036816.5
• 申請日: 2020-01-14
• 公開（公告）號: CN111260078A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計）人: 王宏志;歐龍燊;張愷欣;霸晨民;陳泊舟
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08;G06N5/02
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 高倩

一種機(jī)器學(xué)習(xí)算法的參數(shù)調(diào)優(yōu)方法及系統(tǒng)，具有自動化、快速高效及具有普適性，屬于機(jī)器學(xué)習(xí)領(lǐng)域。本發(fā)明包括：S1、輸入用戶數(shù)據(jù)集和待調(diào)參數(shù)算法，提取用戶數(shù)據(jù)集的特征；S2、在神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫中，找到待調(diào)參數(shù)算法的神經(jīng)網(wǎng)絡(luò)，將S1提取的特征輸入該神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)輸出待調(diào)參數(shù)算法的參數(shù)；所述神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫包括根據(jù)各種機(jī)器學(xué)習(xí)算法建立及訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，具體構(gòu)建方法為：構(gòu)建適用于機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集的知識庫；提取知識庫中每個數(shù)據(jù)集的特征；找到在各數(shù)據(jù)集上運(yùn)行各機(jī)器學(xué)習(xí)算法的最優(yōu)參數(shù)；建立每個機(jī)器學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)，利用數(shù)據(jù)集的特征和對應(yīng)的最優(yōu)參數(shù)作為訓(xùn)練集對對應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)領(lǐng)域。

背景技術(shù)

現(xiàn)有機(jī)器學(xué)習(xí)算法相關(guān)參數(shù)調(diào)優(yōu)技術(shù)主要包括網(wǎng)格搜索和遺傳算法，其中，網(wǎng)格搜索是對每一個參數(shù)設(shè)定一些候選值，在尋找多個參數(shù)的最優(yōu)組合時，對每一種候選值的組合進(jìn)行遍歷，訓(xùn)練多個模型，取其中表現(xiàn)最優(yōu)的模型中的參數(shù)組合作為結(jié)果，例如公開號為CN107844837A的發(fā)明專利《針對機(jī)器學(xué)習(xí)算法進(jìn)行算法參數(shù)調(diào)優(yōu)的方法及系統(tǒng)》。

遺傳算法是選取一定數(shù)量的候選解，將其抽象為染色體，通過適應(yīng)度評判選取候選解中的一些較優(yōu)解，讓它們進(jìn)行自由組合和突變，產(chǎn)生下一代種群，將下一代種群作為新的候選解；不斷進(jìn)行迭代，例如公開號為CN201811038917.5的發(fā)明專利《一種超參數(shù)調(diào)優(yōu)方法、裝置及設(shè)備》。

使用網(wǎng)格搜索進(jìn)行參數(shù)調(diào)優(yōu)，不足之處在于：參數(shù)的候選值是人為設(shè)定的，做不到完全“自動化”；候選值的選取依靠經(jīng)驗，需要用戶具有相關(guān)背景知識，并且沒有充分利用用戶數(shù)據(jù)集；需要訓(xùn)練眾多模型，時間代價大，在參數(shù)數(shù)目眾多時這一缺陷尤為明顯。

使用遺傳算法進(jìn)行參數(shù)調(diào)優(yōu)，不足之處在于：由于需要考慮對具體問題的解和染色體的抽象關(guān)系(及編碼、解碼過程)，遺傳算法的編程實現(xiàn)較為復(fù)雜；遺傳算法本身包含眾多超參數(shù)，如交叉率和變異率，并且這些參數(shù)的選擇嚴(yán)重影響解的品質(zhì)，而目前這些參數(shù)的選擇大部分是依靠經(jīng)驗；沒有能夠及時利用用戶數(shù)據(jù)集的特征，故算法的搜索速度比較慢，要得要較精確的解需要較多的訓(xùn)練時間；算法對初始種群的選擇有依賴性；算法的并行機(jī)制的潛在能力沒有得到充分的利用。

所以現(xiàn)有機(jī)器學(xué)習(xí)算法相關(guān)參數(shù)調(diào)優(yōu)方法的不足之處在于：需要用戶提前設(shè)定一些候選值，做不到“自動化”，且需要用戶具有相關(guān)背景知識；采用“遍歷”思路，時間開銷大。

發(fā)明內(nèi)容

針對以上不足，本發(fā)明提供一種具有自動化、快速高效及具有普適性的機(jī)器學(xué)習(xí)算法的參數(shù)調(diào)優(yōu)方法及系統(tǒng)。

本發(fā)明的一種機(jī)器學(xué)習(xí)算法的參數(shù)調(diào)優(yōu)方法，所述方法包括：

S1、輸入用戶數(shù)據(jù)集和待調(diào)參數(shù)算法，提取用戶數(shù)據(jù)集的特征；

S2、在神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫中，找到待調(diào)參數(shù)算法的神經(jīng)網(wǎng)絡(luò)，將S1提取的特征輸入該神經(jīng)網(wǎng)絡(luò)中，該神經(jīng)網(wǎng)絡(luò)輸出待調(diào)參數(shù)算法的參數(shù)；

所述神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫包括根據(jù)各種機(jī)器學(xué)習(xí)算法建立及訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，具體構(gòu)建方法為：

構(gòu)建適用于機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集的知識庫；

提取知識庫中每個數(shù)據(jù)集的特征；

找到在各數(shù)據(jù)集上運(yùn)行各機(jī)器學(xué)習(xí)算法的最優(yōu)參數(shù)；

建立每個機(jī)器學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)，利用數(shù)據(jù)集的特征和對應(yīng)的最優(yōu)參數(shù)作為訓(xùn)練集對對應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)。

作為優(yōu)選，所述方法還包括：

S3、使用局部優(yōu)化器找到S2輸出參數(shù)的局部極值，作為機(jī)器學(xué)習(xí)算法的進(jìn)一步優(yōu)化參數(shù)。

作為優(yōu)選，構(gòu)建神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫時，利用網(wǎng)格搜索的方法找到在各數(shù)據(jù)集上運(yùn)行各機(jī)器學(xué)習(xí)算法的最優(yōu)參數(shù)。