[發(fā)明專利]一種無(wú)監(jiān)督機(jī)器學(xué)習(xí)的超參數(shù)自動(dòng)優(yōu)化方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711347747.4
• 申請(qǐng)日: 2017-12-15
• 公開(kāi)（公告）號(hào): CN108062587A
• 公開(kāi)（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 王建民;龍明盛;付博;黃向東
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N99/00
• 分類號(hào): G06N99/00;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種無(wú)監(jiān)督機(jī)器學(xué)習(xí)的超參數(shù)自動(dòng)優(yōu)化方法，其特征在于，包括：

根據(jù)無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法確定所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的算法性能評(píng)估模型、所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的超參數(shù)、所述超參數(shù)的搜索空間和所述超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則；

根據(jù)所述算法性能評(píng)估模型、所述搜索空間和所述評(píng)價(jià)準(zhǔn)則確定所述超參數(shù)的最優(yōu)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法確定所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的算法性能評(píng)估模型、所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的超參數(shù)、所述超參數(shù)的搜索空間和所述超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則具體為：

根據(jù)無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法在預(yù)設(shè)知識(shí)庫(kù)中查找所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的算法性能評(píng)估模型和所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的超參數(shù)，以及所述超參數(shù)的搜索空間和所述超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則；其中，所述預(yù)設(shè)知識(shí)庫(kù)存儲(chǔ)有無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法，以及與所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法對(duì)應(yīng)的算法性能評(píng)估模型、超參數(shù)、超參數(shù)的搜索空間和超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)知識(shí)庫(kù)中存儲(chǔ)的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法超參數(shù)的搜索空間根據(jù)經(jīng)驗(yàn)值確定。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述算法性能評(píng)估模型、所述搜索空間和所述評(píng)價(jià)準(zhǔn)則確定所述超參數(shù)的最優(yōu)值，包括：

根據(jù)所述搜索空間，利用所述評(píng)價(jià)準(zhǔn)則，獲取多組所述超參數(shù)的初始值；

將每組超參數(shù)的初始值分別輸入至所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法，獲取多組包含超參數(shù)初始值的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法；

對(duì)每組包含超參數(shù)初始值的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，獲取訓(xùn)練結(jié)果；

根據(jù)所述訓(xùn)練結(jié)果，利用所述算法性能評(píng)估模型，確定超參數(shù)的最優(yōu)值，其中，所述超參數(shù)的最優(yōu)值為算法性能最優(yōu)的一組超參數(shù)的初始值。

5.根據(jù)權(quán)利要求2或3任一項(xiàng)所述的方法，其特征在于，所述預(yù)設(shè)知識(shí)庫(kù)中存儲(chǔ)的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法至少包括：k中心點(diǎn)算法、CLANRANS算法、平均迭代規(guī)約和聚類算法、代表點(diǎn)聚類算法、動(dòng)態(tài)模型算法、高密度連接區(qū)域算法、密度分布函數(shù)算法、對(duì)象排序識(shí)別算法、統(tǒng)計(jì)信息網(wǎng)絡(luò)算法、聚類高維空間算法、小波變化算法、Affinity propagation算法、Mean-shift算法、Spectral clustering算法、Ward hierarchical clustering算法、Agglomerative clustering算法。

6.根據(jù)權(quán)利要求2或3任一項(xiàng)所述的方法，其特征在于，所述預(yù)設(shè)知識(shí)庫(kù)中存儲(chǔ)的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則至少包括：赤池信息量準(zhǔn)則、貝葉斯信息準(zhǔn)則、偏差信息準(zhǔn)則。

7.根據(jù)權(quán)利要求2或3任一項(xiàng)所述的方法，其特征在于，所述預(yù)設(shè)知識(shí)庫(kù)中存儲(chǔ)的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的算法性能評(píng)估模型至少包括：受試者工作特征曲線模型和聚類有效性分析模型。

8.一種無(wú)監(jiān)督機(jī)器學(xué)習(xí)的超參數(shù)自動(dòng)優(yōu)化系統(tǒng)，其特征在于，包括：

查詢模塊，用于根據(jù)無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法確定所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的算法性能評(píng)估模型、所述無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的超參數(shù)、所述超參數(shù)的搜索空間和所述超參數(shù)優(yōu)化的評(píng)價(jià)準(zhǔn)則；

優(yōu)化模塊，用于根據(jù)所述算法性能評(píng)估模型、所述搜索空間和所述評(píng)價(jià)準(zhǔn)則確定所述超參數(shù)的最優(yōu)值。

9.一種用于自動(dòng)優(yōu)化無(wú)監(jiān)督機(jī)器學(xué)習(xí)的超參數(shù)的電子設(shè)備，其特征在于，包括：

存儲(chǔ)器和處理器，所述處理器和所述存儲(chǔ)器通過(guò)總線完成相互間的通信；所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令能夠執(zhí)行如權(quán)利要求1至7任一所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一所述的方法。