[發(fā)明專利]一種分布式模型參數(shù)的搜索方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201811603527.8
• 申請(qǐng)日: 2018-12-26
• 公開（公告）號(hào): CN109857804B
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 吳浩然;顧全
• 申請(qǐng)（專利權(quán)）人: 同盾控股有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27;G06K9/62
• 代理公司: 北京潤澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

1.一種分布式模型參數(shù)的搜索方法，其特征在于，包括步驟：

針對(duì)每個(gè)網(wǎng)格化空間，利用預(yù)先獲取的驗(yàn)證樣本集進(jìn)行驗(yàn)證計(jì)算，得到每個(gè)所述網(wǎng)格化空間對(duì)應(yīng)的評(píng)估指標(biāo)的交叉驗(yàn)證均值，所述網(wǎng)格化空間為模型訓(xùn)練所得到的分布式模型參數(shù)之間的隨機(jī)組合；

從所得到的多個(gè)所述交叉驗(yàn)證均值中選取出當(dāng)前最優(yōu)交叉驗(yàn)證均值，并根據(jù)所述當(dāng)前最優(yōu)交叉驗(yàn)證均值選定最可能的局部搜索空間；

根據(jù)預(yù)先選出的最佳采樣點(diǎn)在所述局部搜索空間內(nèi)進(jìn)行貝葉斯調(diào)優(yōu)計(jì)算，得到所述局部搜索空間內(nèi)的最優(yōu)參數(shù)組合；

其中，針對(duì)每個(gè)網(wǎng)格化空間，利用預(yù)先獲取的驗(yàn)證樣本集進(jìn)行驗(yàn)證計(jì)算，得到每個(gè)所述網(wǎng)格化空間對(duì)應(yīng)的評(píng)估指標(biāo)的交叉驗(yàn)證均值，包括：

將所述參數(shù)隨機(jī)組合得到參數(shù)組合或者超參數(shù)組合；

將所述參數(shù)組合或者所述超參數(shù)組合賦予到進(jìn)行訓(xùn)練的函數(shù)中得到賦予所述參數(shù)后的函數(shù)；

根據(jù)所述賦予參數(shù)后的函數(shù)對(duì)所述驗(yàn)證樣本進(jìn)行計(jì)算，并利用采集函數(shù)進(jìn)行對(duì)計(jì)算結(jié)果進(jìn)行評(píng)估，得到與網(wǎng)格化空間對(duì)應(yīng)的所述評(píng)估指標(biāo)、所述評(píng)估指標(biāo)的交叉驗(yàn)證均值。

2.如權(quán)利要求1所述的搜索方法，其特征在于，所述利用預(yù)先獲取的驗(yàn)證樣本集進(jìn)行驗(yàn)證計(jì)算，包括：

針對(duì)每個(gè)所述網(wǎng)格化空間，利用所述驗(yàn)證樣本集、并按預(yù)設(shè)的最大搜索次數(shù)進(jìn)行驗(yàn)證計(jì)算，得到所述交叉驗(yàn)證均值。

3.如權(quán)利要求1所述的搜索方法，其特征在于，所述根據(jù)預(yù)先選出的最佳采樣點(diǎn)在所述局部搜索空間內(nèi)進(jìn)行貝葉斯調(diào)優(yōu)計(jì)算，包括:

按預(yù)設(shè)的迭代次數(shù)進(jìn)行貝葉斯調(diào)優(yōu)計(jì)算。

4.如權(quán)利要求1所述的搜索方法，其特征在于，還包括：

利用多個(gè)采集函數(shù)投票，選取出所述最佳采樣點(diǎn)。

5.一種分布式模型參數(shù)的搜索裝置，其特征在于，包括：

網(wǎng)格搜索模塊，用于針對(duì)每個(gè)網(wǎng)格化空間，利用預(yù)先獲取的驗(yàn)證樣本集進(jìn)行驗(yàn)證計(jì)算，得到每個(gè)所述網(wǎng)格化空間對(duì)應(yīng)的評(píng)估指標(biāo)的交叉驗(yàn)證均值，所述網(wǎng)格化空間為模型訓(xùn)練所得到的分布式模型參數(shù)之間的隨機(jī)組合；

空間縮小模塊，用于從所得到的多個(gè)所述交叉驗(yàn)證均值中選取出當(dāng)前最優(yōu)交叉驗(yàn)證均值，并根據(jù)所述當(dāng)前最優(yōu)交叉驗(yàn)證均值選定最可能的局部搜索空間；

參數(shù)調(diào)優(yōu)模塊，用于根據(jù)預(yù)先選出的最佳采樣點(diǎn)在所述局部搜索空間內(nèi)進(jìn)行貝葉斯調(diào)優(yōu)計(jì)算，得到所述局部搜索空間內(nèi)的最優(yōu)參數(shù)組合；

所述網(wǎng)格搜索模塊，還用于將所述參數(shù)隨機(jī)組合得到參數(shù)組合或者超參數(shù)組合；

將所述參數(shù)組合或者所述超參數(shù)組合賦予到進(jìn)行訓(xùn)練的函數(shù)中得到賦予所述參數(shù)后的函數(shù)；

根據(jù)所述賦予參數(shù)后的函數(shù)對(duì)所述驗(yàn)證樣本進(jìn)行計(jì)算，并利用采集函數(shù)進(jìn)行對(duì)計(jì)算結(jié)果進(jìn)行評(píng)估，得到與網(wǎng)格化空間對(duì)應(yīng)的所述評(píng)估指標(biāo)、所述評(píng)估指標(biāo)的交叉驗(yàn)證均值。

6.如權(quán)利要求5所述的搜索裝置，其特征在于，所述網(wǎng)格搜索模塊具體用于針對(duì)每個(gè)所述網(wǎng)格化空間，利用所述驗(yàn)證樣本集、并按預(yù)設(shè)的最大搜索次數(shù)進(jìn)行驗(yàn)證計(jì)算，得到所述交叉驗(yàn)證均值。

7.如權(quán)利要求5所述的搜索裝置，其特征在于，所述參數(shù)調(diào)優(yōu)模塊具體用于按預(yù)設(shè)的迭代次數(shù)進(jìn)行貝葉斯調(diào)優(yōu)計(jì)算。

8.如權(quán)利要求5所述的搜索裝置，其特征在于，還包括：

采集函數(shù)自動(dòng)化模塊，用于利用多個(gè)采集函數(shù)投票，選取出所述最佳采樣點(diǎn)。

9.一種電子設(shè)備，其特征在于，包括處理器以及與所述處理器相連接的存儲(chǔ)器，其中：

所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序或指令；

所述處理器用于執(zhí)行所述計(jì)算機(jī)程序或指令，以使實(shí)現(xiàn)如權(quán)利要求1～4任一項(xiàng)所述的搜索方法。