[發(fā)明專利]深度學(xué)習(xí)模型的探索方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010814501.9
• 申請(qǐng)日: 2020-08-13
• 公開（公告）號(hào): CN111931916A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 趙仕嘉;林濤;董浩欣;楊鶴鳴;向雷;李晁銘;麥洪永;陳華榮
• 申請(qǐng)（專利權(quán)）人: 廣東省電信規(guī)劃設(shè)計(jì)院有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063;G06N3/08;G06F9/50
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 肖宇揚(yáng);付靜

1.一種深度學(xué)習(xí)模型的探索方法，其特征在于，所述方法包括：

確定一個(gè)云計(jì)算資源作為主節(jié)點(diǎn)以及多個(gè)其他云計(jì)算資源作為多個(gè)從節(jié)點(diǎn)，其中，所述主節(jié)點(diǎn)用于調(diào)度多個(gè)所述從節(jié)點(diǎn)對(duì)深度學(xué)習(xí)模型執(zhí)行訓(xùn)練操作；

基于每個(gè)所述從節(jié)點(diǎn)對(duì)所述深度學(xué)習(xí)模型執(zhí)行訓(xùn)練操作，得到該從節(jié)點(diǎn)的訓(xùn)練結(jié)果，每個(gè)所述從節(jié)點(diǎn)的訓(xùn)練結(jié)果包括目標(biāo)深度學(xué)習(xí)模型以及該目標(biāo)深度學(xué)習(xí)模型的評(píng)分，每個(gè)所述從節(jié)點(diǎn)的訓(xùn)練結(jié)果包括的目標(biāo)深度學(xué)習(xí)模型為訓(xùn)練后的深度學(xué)習(xí)模型；

根據(jù)所有所述訓(xùn)練結(jié)果包括的評(píng)分從所有所述目標(biāo)深度學(xué)習(xí)模型中確定最優(yōu)深度學(xué)習(xí)模型。

2.根據(jù)權(quán)利要求1所述的深度學(xué)習(xí)模型的探索方法，其特征在于，所述基于每個(gè)所述從節(jié)點(diǎn)對(duì)所述深度學(xué)習(xí)模型執(zhí)行訓(xùn)練操作，得到該從節(jié)點(diǎn)的訓(xùn)練結(jié)果，包括：

創(chuàng)建每個(gè)所述從節(jié)點(diǎn)對(duì)應(yīng)的第一進(jìn)程和第二進(jìn)程，并基于每個(gè)所述從節(jié)點(diǎn)的第一進(jìn)程生成該從節(jié)點(diǎn)對(duì)應(yīng)的多個(gè)深度學(xué)習(xí)模型；

基于每個(gè)所述從節(jié)點(diǎn)的第二進(jìn)程、每個(gè)所述從節(jié)點(diǎn)的本地云計(jì)算資源以及確定出的超參數(shù)對(duì)該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)所述深度學(xué)習(xí)模型執(zhí)行訓(xùn)練與驗(yàn)證操作，得到該從節(jié)點(diǎn)對(duì)應(yīng)的訓(xùn)練結(jié)果。

3.根據(jù)權(quán)利要求2所述的深度學(xué)習(xí)模型的探索方法，其特征在于，所述基于每個(gè)所述從節(jié)點(diǎn)的第一進(jìn)程生成該從節(jié)點(diǎn)對(duì)應(yīng)的多個(gè)深度學(xué)習(xí)模型，包括：

基于每個(gè)所述從節(jié)點(diǎn)的第一進(jìn)程，從確定出的歷史模型池中選取多個(gè)歷史模型作為該從節(jié)點(diǎn)對(duì)應(yīng)的多個(gè)基礎(chǔ)模型，所述歷史模型為所有所述從節(jié)點(diǎn)已生成的深度學(xué)習(xí)模型；

基于確定出的模擬退火方法從每個(gè)所述從節(jié)點(diǎn)對(duì)應(yīng)的所有所述基礎(chǔ)模型中選取多個(gè)所述基礎(chǔ)模型作為該從節(jié)點(diǎn)對(duì)應(yīng)的多個(gè)目標(biāo)基礎(chǔ)模型；

對(duì)每個(gè)所述從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)所述目標(biāo)基礎(chǔ)模型執(zhí)行模型變形操作，得到該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的多個(gè)變種模型，并從該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的多個(gè)變種模型中篩選出該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的目標(biāo)變種模型；

對(duì)每個(gè)所述目標(biāo)變種模型進(jìn)行評(píng)分，并根據(jù)每個(gè)所述目標(biāo)變種模型的評(píng)分從每個(gè)所述從節(jié)點(diǎn)對(duì)應(yīng)的所有所述目標(biāo)變種模型中篩選出該從節(jié)點(diǎn)對(duì)應(yīng)的多個(gè)深度學(xué)習(xí)模型；

其中，模型變形操作是指對(duì)神經(jīng)網(wǎng)絡(luò)模型隨機(jī)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)加深操作、網(wǎng)絡(luò)結(jié)構(gòu)加寬操作和加跳層結(jié)構(gòu)操作中的至少一種。

4.根據(jù)權(quán)利要求3所述的深度學(xué)習(xí)模型的探索方法，其特征在于，所述從該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的多個(gè)所述變種模型中篩選出該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的目標(biāo)變種模型，包括：

計(jì)算該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型與所述歷史模型池中每個(gè)所述歷史模型的模型距離；

判斷該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型是否存在匹配歷史模型，該變種模型對(duì)應(yīng)的匹配歷史模型是與該變種模型的模型距離小于預(yù)設(shè)閾值的所述歷史模型，當(dāng)判斷出該變種模型存在匹配歷史模型時(shí)，將該變種模型從該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的多個(gè)所述變種模型中刪除；

對(duì)該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型進(jìn)行評(píng)分，并從該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的多個(gè)所述變種模型中選取評(píng)分最高的所述變種模型作為該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的目標(biāo)變種模型。

5.根據(jù)權(quán)利要求4所述的深度學(xué)習(xí)模型的探索方法，其特征在于，所述計(jì)算該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型與所述歷史模型池中每個(gè)所述歷史模型的模型距離，包括：

計(jì)算該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型與所述歷史模型池中每個(gè)所述歷史模型的普通層距離；

計(jì)算該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型與所述歷史模型池中每個(gè)所述歷史模型的跳層距離；

將該目標(biāo)基礎(chǔ)模型對(duì)應(yīng)的每個(gè)所述變種模型與所述歷史模型池中每個(gè)所述歷史模型的所述普通層距離和所述跳層距離相加以作為該變種模型和該歷史模型的模型距離。