[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法、設(shè)備以及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811463775.7
• 申請(qǐng)日: 2018-12-03
• 公開(kāi)（公告）號(hào): CN109615073B
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 劉紅麗;李峰;劉宏剛
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06K9/62
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 劉小峰

本發(fā)明公開(kāi)了一種實(shí)現(xiàn)圖像的分類的神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法，包括步驟：S1，構(gòu)建單元結(jié)構(gòu)搜索網(wǎng)絡(luò)、體系結(jié)構(gòu)搜索網(wǎng)絡(luò)、圖像訓(xùn)練集以及隨機(jī)編碼數(shù)組；S2，利用單元結(jié)構(gòu)搜索網(wǎng)絡(luò)、體系結(jié)構(gòu)搜索網(wǎng)絡(luò)以及隨機(jī)編碼數(shù)組生成神經(jīng)網(wǎng)絡(luò)模型；S3，將圖像訓(xùn)練集輸入神經(jīng)網(wǎng)絡(luò)模型得到實(shí)際分類結(jié)果；S4，判斷實(shí)際分類結(jié)果是否滿足預(yù)設(shè)條件，若不滿足，則進(jìn)行步驟S5；S5，根據(jù)實(shí)際分類結(jié)果以及圖像訓(xùn)練集的理論分類更新單元結(jié)構(gòu)搜索網(wǎng)絡(luò)以及體系結(jié)構(gòu)搜索網(wǎng)絡(luò)；S6，重復(fù)S2?S5，直到在S4得出實(shí)際分類結(jié)果滿足預(yù)設(shè)條件的判斷。本發(fā)明公開(kāi)的方法將原搜索空間轉(zhuǎn)換為單元結(jié)構(gòu)搜索和體系結(jié)構(gòu)搜索兩個(gè)空間，通過(guò)自動(dòng)學(xué)習(xí)方式搜索體系最佳結(jié)構(gòu)，增強(qiáng)生成的模型架構(gòu)的靈活性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分類領(lǐng)域，更具體地，特別是指一種神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法、設(shè)備以及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)模型是一種可任意堆砌的模型結(jié)構(gòu)，基礎(chǔ)的組件包括FC(全連接層)、Convolution(卷積層)、Polling(池化層)、Activation(激活函數(shù))等，后一個(gè)組件以前一個(gè)組件的輸出作為輸入，不同的組件連接方式和超參配置方式在不同應(yīng)用場(chǎng)景有不同的效果。神經(jīng)架構(gòu)搜索(Neural Architecture Search，NAS)，目標(biāo)是從一堆神經(jīng)網(wǎng)絡(luò)組件中，搜索到一個(gè)最優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。其中，常見(jiàn)的搜索方法包括隨機(jī)搜索、貝葉斯優(yōu)化、進(jìn)化算法、強(qiáng)化學(xué)習(xí)、基于梯度的算法等。

Zoph等人在2016年提出采用RNN去搜索一個(gè)最好的網(wǎng)絡(luò)結(jié)構(gòu)，但因搜索空間太大，耗時(shí)22,400GPU工作天數(shù)，于2017年改成采用強(qiáng)化學(xué)習(xí)搜索CNN的效果最好的卷積單元(conv cell)，再用這些conv cell來(lái)構(gòu)建一個(gè)更好的網(wǎng)絡(luò)，但是該算法在CIFAR-10和ImageNet上獲得當(dāng)前最佳架構(gòu)仍需要2000個(gè)GPU工作天數(shù)。人們已經(jīng)提出了很多加速方法，例如提出多個(gè)架構(gòu)之間共享權(quán)重，以及基于連續(xù)搜索空間的梯度下降的可微架構(gòu)搜索。但這些算法都采用手工設(shè)定網(wǎng)絡(luò)體系結(jié)構(gòu)的方法，導(dǎo)致體系架構(gòu)的靈活性存在挑戰(zhàn)。

由此可見(jiàn)，當(dāng)前神經(jīng)架構(gòu)搜索算存在如下問(wèn)題：

(1)由于組合的方式太多，所以搜索空間巨大，函數(shù)計(jì)算代價(jià)巨大；

(2)手工設(shè)計(jì)模型體系結(jié)構(gòu)，缺乏靈活性。

發(fā)明內(nèi)容

有鑒于此，為了克服上述問(wèn)題的至少一個(gè)方面，本發(fā)明實(shí)施例的提出一種用于實(shí)現(xiàn)圖像的分類的神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建方法，包括以下步驟：

S1，構(gòu)建單元結(jié)構(gòu)搜索網(wǎng)絡(luò)、體系結(jié)構(gòu)搜索網(wǎng)絡(luò)、圖像訓(xùn)練集以及隨機(jī)編碼數(shù)組；

S2，利用單元結(jié)構(gòu)搜索網(wǎng)絡(luò)、體系結(jié)構(gòu)搜索網(wǎng)絡(luò)以及隨機(jī)編碼數(shù)組生成所述神經(jīng)網(wǎng)絡(luò)模型；

S3，將所述圖像訓(xùn)練集輸入所述神經(jīng)網(wǎng)絡(luò)模型以得到實(shí)際分類結(jié)果；

S4，根據(jù)圖像訓(xùn)練集的理論分類來(lái)判斷所述實(shí)際分類結(jié)果是否滿足預(yù)設(shè)條件，若不滿足，則進(jìn)行步驟S5；

S5，根據(jù)所述實(shí)際分類結(jié)果以及所述理論分類來(lái)更新所述單元結(jié)構(gòu)搜索網(wǎng)絡(luò)以及所述體系結(jié)構(gòu)搜索網(wǎng)絡(luò)；

S6，重復(fù)步驟S2-S5，直到在S4得出實(shí)際分類結(jié)果滿足預(yù)設(shè)條件的判斷。

在一些實(shí)施例中，得到滿足預(yù)設(shè)條件的實(shí)際分類結(jié)果的神經(jīng)網(wǎng)絡(luò)模型為最優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。

在一些實(shí)施例中，所述步驟S2進(jìn)一步包括：

S21，利用所述單元結(jié)構(gòu)搜索網(wǎng)絡(luò)和所述體系結(jié)構(gòu)搜索網(wǎng)絡(luò)對(duì)所述隨機(jī)編碼數(shù)組進(jìn)行搜索，得到單元結(jié)構(gòu)編碼數(shù)組和體系結(jié)構(gòu)編碼數(shù)組；以及

S22，利用解碼器對(duì)所述單元結(jié)構(gòu)編碼數(shù)組和所述體系結(jié)構(gòu)編碼數(shù)組進(jìn)行解碼，得到所述神經(jīng)網(wǎng)絡(luò)模型。

在一些實(shí)施例中，所述單元結(jié)構(gòu)編碼數(shù)組包括下降單元數(shù)組和正常單元數(shù)組。