[發(fā)明專(zhuān)利]一種基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010213957.X
• 申請(qǐng)日: 2020-03-24
• 公開(kāi)（公告）號(hào): CN111445008A
• 公開(kāi)（公告）日: 2020-07-24
• 發(fā)明（設(shè)計(jì)）人: 彭杰鋒;李長(zhǎng)林;袁柳春;王廣潤(rùn);梁小丹
• 申請(qǐng)（專(zhuān)利權(quán)）人: 暗物智能科技(廣州)有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 北京三聚陽(yáng)光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 張琳琳

本發(fā)明公開(kāi)一種基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法及系統(tǒng)，方法包括：構(gòu)建神經(jīng)網(wǎng)絡(luò)搜索空間，數(shù)據(jù)流在各搜索神經(jīng)網(wǎng)絡(luò)子空間選定任一基本網(wǎng)絡(luò)結(jié)構(gòu)按一定方向傳遞構(gòu)成有向無(wú)環(huán)圖集合組成神經(jīng)超級(jí)網(wǎng)絡(luò)；根據(jù)不同深度將神經(jīng)超級(jí)網(wǎng)絡(luò)劃分為多個(gè)子空間塊；基于知識(shí)蒸餾分別對(duì)多個(gè)子空間塊進(jìn)行單獨(dú)訓(xùn)練，獲取各子空間塊有向無(wú)環(huán)圖對(duì)應(yīng)的損失值，對(duì)各子空間塊中的損失值進(jìn)行排序，將損失值最小的作為最優(yōu)有向無(wú)環(huán)圖模型；將最優(yōu)模型并組合得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。本發(fā)明將大搜索空間的神經(jīng)架構(gòu)搜索模塊化確保潛在的候選網(wǎng)絡(luò)結(jié)構(gòu)得到公平的訓(xùn)練，減少由共享參數(shù)引起的表示偏差，從而確保候選結(jié)構(gòu)的正確評(píng)分，正確的模型評(píng)分和排序提高了搜索的有效性，且擴(kuò)展性好。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)的模型技術(shù)領(lǐng)域，具體涉及一種基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法及系統(tǒng)。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)搜索(NAS)作為AutoML的一項(xiàng)重要任務(wù)，有望減少網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)中人類(lèi)專(zhuān)家所需的工作量。近兩年來(lái)，業(yè)界加速了對(duì)NAS的研究，并提出了許多解決方案。

在數(shù)學(xué)上，NAS最精確的解決方案是在搜索空間內(nèi)從零開(kāi)始訓(xùn)練每一個(gè)候選體系結(jié)構(gòu)到收斂，并比較它們的性能，然而成本高得驚人。次優(yōu)的解決方案是使用高級(jí)搜索策略(如RL或EA)僅在搜索子空間中訓(xùn)練體系結(jié)構(gòu)；盡管這仍然很耗時(shí)，因?yàn)榧词故怯?xùn)練一個(gè)體系結(jié)構(gòu)也需要很長(zhǎng)的時(shí)間(例如，在ImageNet上的ResNet需要超過(guò)10GPU天)。為了加快網(wǎng)絡(luò)接入速度，最近的研究工作提出，不同的候選對(duì)象應(yīng)該通過(guò)共享網(wǎng)絡(luò)參數(shù)來(lái)進(jìn)行并行訓(xùn)練，而不是從零開(kāi)始到收斂的全部訓(xùn)練。隨后，可以通過(guò)基于這些未經(jīng)充分訓(xùn)練的共享網(wǎng)絡(luò)參數(shù)評(píng)估不同候選體系結(jié)構(gòu)的性能來(lái)確定它們的等級(jí)。然而，仍然存在幾個(gè)問(wèn)題：基于未充分訓(xùn)練的網(wǎng)絡(luò)參數(shù)的評(píng)估是否正確排列了候選模型在從無(wú)到有的訓(xùn)練中，達(dá)到最高精度的體系結(jié)構(gòu)能否捍衛(wèi)它的最高排名，最佳網(wǎng)絡(luò)參數(shù)W*不一定表示子網(wǎng)(即候選架構(gòu))的最佳網(wǎng)絡(luò)參數(shù)ω*，因?yàn)樽泳W(wǎng)沒(méi)有得到公平和充分的訓(xùn)練。基于W*的評(píng)估不能正確排列候選模型，因?yàn)樗阉骺臻g通常很大(例如，10^15)。不準(zhǔn)確的評(píng)估導(dǎo)致了現(xiàn)有NAS的無(wú)效性。

發(fā)明內(nèi)容

因此，本發(fā)明要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)中的神經(jīng)網(wǎng)絡(luò)搜索工作量大及性能差的缺陷，從而提供一種基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法及系統(tǒng)。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供一種基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法，包括：

構(gòu)建神經(jīng)網(wǎng)絡(luò)搜索空間，其包括多個(gè)搜索神經(jīng)網(wǎng)絡(luò)子空間，數(shù)據(jù)流在各搜索神經(jīng)網(wǎng)絡(luò)子空間選定任一基本網(wǎng)絡(luò)結(jié)構(gòu)按一定方向傳遞，構(gòu)成有向無(wú)環(huán)圖集合，組成神經(jīng)超級(jí)網(wǎng)絡(luò)；

根據(jù)不同深度將神經(jīng)超級(jí)網(wǎng)絡(luò)劃分為多個(gè)子空間塊；

基于知識(shí)蒸餾分別對(duì)多個(gè)子空間塊進(jìn)行單獨(dú)訓(xùn)練，獲取各子空間塊多層神經(jīng)網(wǎng)絡(luò)的有向無(wú)環(huán)圖對(duì)應(yīng)的損失值，并對(duì)各子空間塊中的損失值進(jìn)行排序，將損失值最小的作為最優(yōu)有向無(wú)環(huán)圖模型；

將各子空間塊的最優(yōu)有向無(wú)環(huán)圖模型并進(jìn)行組合，得到最優(yōu)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步地，每個(gè)子空間塊包括多個(gè)層數(shù)不同的多層神經(jīng)網(wǎng)絡(luò)，所述多個(gè)多層神經(jīng)網(wǎng)絡(luò)之間不存在數(shù)據(jù)流交叉流動(dòng)，不同子空間塊之間的數(shù)據(jù)流動(dòng)遵循有向無(wú)環(huán)圖規(guī)則。

在一實(shí)施例中，基于知識(shí)蒸餾的神經(jīng)網(wǎng)絡(luò)搜索方法還包括：初始化所述目標(biāo)神經(jīng)網(wǎng)絡(luò)參數(shù)，根據(jù)目標(biāo)任務(wù)進(jìn)行重新訓(xùn)練，得到最終模型。

進(jìn)一步地，基于知識(shí)蒸餾分別對(duì)多個(gè)子空間塊進(jìn)行單獨(dú)訓(xùn)練的步驟包括：將教師網(wǎng)絡(luò)對(duì)應(yīng)神經(jīng)超級(jí)網(wǎng)絡(luò)前一層子空間塊輸出的特征圖作為神經(jīng)超級(jí)網(wǎng)絡(luò)當(dāng)前空間塊的輸入特征，通過(guò)最小化子空間塊的輸出特征與教師網(wǎng)絡(luò)對(duì)應(yīng)當(dāng)前子空間塊的輸出的特征圖的范式距離，對(duì)各子空間塊進(jìn)行訓(xùn)練。

在一實(shí)施例中，對(duì)各子空間塊進(jìn)行搜索時(shí)通過(guò)預(yù)設(shè)的約束條件，篩選出符合約束條件的模型進(jìn)行訓(xùn)練。