[發(fā)明專利]超網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110080416.9
• 申請(qǐng)日: 2021-01-21
• 公開（公告）號(hào): CN112784961A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計(jì)）人: 希滕;張剛;溫圣召
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62;G06K9/34
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 王姍姍;金愛靜

本公開提供了一種超網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，涉及人工智能領(lǐng)域，尤其涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域。具體實(shí)現(xiàn)方案為：基于預(yù)設(shè)超網(wǎng)絡(luò)進(jìn)行N次迭代操作，得到目標(biāo)超網(wǎng)絡(luò)；其中，N次迭代操作中的第i次迭代操作，包括：在使用第i?1組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)的搜索空間中選取m個(gè)子網(wǎng)絡(luò)；基于第i?1組超網(wǎng)絡(luò)參數(shù)對(duì)m個(gè)子網(wǎng)絡(luò)進(jìn)行評(píng)估，得到第i個(gè)概率模型；基于第i?1個(gè)概率模型的超參數(shù)與第i個(gè)概率模型的超參數(shù)之間的互信息，得到第i組超網(wǎng)絡(luò)參數(shù)；在i等于預(yù)設(shè)閾值N的情況下，將使用第i組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)作為目標(biāo)超網(wǎng)絡(luò)。根據(jù)本公開實(shí)施例的方案，可以提升搜索到的子網(wǎng)絡(luò)的性能。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，尤其涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)等領(lǐng)域。

背景技術(shù)

NAS(Neural Architecture Search，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索)的原理是給定一個(gè)稱為搜索空間的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)集合，基于搜索策略從中搜索出最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。早期的NAS搜索效率非常低，需要消耗非常大的資源。因此，基于參數(shù)共享的NAS方法因具備高搜索效率而備受人們關(guān)注。在基于參數(shù)共享的NAS方法中，先訓(xùn)練一個(gè)超網(wǎng)絡(luò)，超網(wǎng)絡(luò)所對(duì)應(yīng)的搜索空間中的所有網(wǎng)絡(luò)結(jié)構(gòu)即超網(wǎng)絡(luò)的各個(gè)子網(wǎng)絡(luò)，共享超網(wǎng)絡(luò)的參數(shù)。因此，超網(wǎng)絡(luò)的性能影響各子網(wǎng)絡(luò)的性能。

發(fā)明內(nèi)容

本公開提供了一種超網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

根據(jù)本公開的一方面，提供了一種超網(wǎng)絡(luò)的訓(xùn)練方法，包括：

基于預(yù)設(shè)超網(wǎng)絡(luò)進(jìn)行N次迭代操作，得到目標(biāo)超網(wǎng)絡(luò)；其中，N為大于等于2的整數(shù)；

其中，N次迭代操作中的第i次迭代操作，包括：

利用第i-1個(gè)概率模型，在使用第i-1組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)的搜索空間中選取m個(gè)子網(wǎng)絡(luò)；其中，i為小于等于N的正整數(shù)，m為正整數(shù)；

基于第i-1組超網(wǎng)絡(luò)參數(shù)對(duì)m個(gè)子網(wǎng)絡(luò)進(jìn)行評(píng)估，得到m個(gè)子網(wǎng)絡(luò)的性能信息；

基于m個(gè)子網(wǎng)絡(luò)的性能信息，得到第i個(gè)概率模型；

基于第i-1個(gè)概率模型的超參數(shù)與第i個(gè)概率模型的超參數(shù)之間的互信息，得到第i組超網(wǎng)絡(luò)參數(shù)；

在i等于預(yù)設(shè)閾值N的情況下，將使用第i組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)作為目標(biāo)超網(wǎng)絡(luò)。

根據(jù)本公開的另一方面，提供了一種超網(wǎng)絡(luò)的訓(xùn)練裝置，包括：

迭代模塊，用于基于預(yù)設(shè)超網(wǎng)絡(luò)進(jìn)行N次迭代操作，得到目標(biāo)超網(wǎng)絡(luò)；其中，N為大于等于2的整數(shù)；

其中，迭代模塊包括：

子網(wǎng)絡(luò)單元，用于利用第i-1個(gè)概率模型，在使用第i-1組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)的搜索空間中選取m個(gè)子網(wǎng)絡(luò)；其中，i為小于等于N的正整數(shù)，m為正整數(shù)；

性能信息單元，用于基于第i-1組超網(wǎng)絡(luò)參數(shù)對(duì)m個(gè)子網(wǎng)絡(luò)進(jìn)行評(píng)估，得到m個(gè)子網(wǎng)絡(luò)的性能信息；

概率模型單元，用于基于m個(gè)子網(wǎng)絡(luò)的性能信息，得到第i個(gè)概率模型；

超網(wǎng)絡(luò)參數(shù)單元，用于基于第i-1個(gè)概率模型的超參數(shù)與第i個(gè)概率模型的超參數(shù)之間的互信息，得到第i組超網(wǎng)絡(luò)參數(shù)；

目標(biāo)超網(wǎng)絡(luò)單元，用于在i等于預(yù)設(shè)閾值N的情況下，將使用第i組超網(wǎng)絡(luò)參數(shù)的預(yù)設(shè)超網(wǎng)絡(luò)作為目標(biāo)超網(wǎng)絡(luò)。

根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：

至少一個(gè)處理器；以及

與該至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

該存儲(chǔ)器存儲(chǔ)有可被該至少一個(gè)處理器執(zhí)行的指令，該指令被該至少一個(gè)處理器執(zhí)行，以使該至少一個(gè)處理器能夠執(zhí)行本公開任一實(shí)施例中的方法。