[發(fā)明專利]一種改進(jìn)的基于超網(wǎng)絡(luò)的進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法

在審

• 申請?zhí)枺?/td>: 202011567363.5
• 申請日: 2020-12-26
• 公開（公告）號: CN112561039A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 金耀初;沈修平
• 申請（專利權(quán)）人: 上海悠絡(luò)客電子科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/00;G06K9/62
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 徐偉奇

本發(fā)明涉及一種改進(jìn)的基于超網(wǎng)絡(luò)的進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法。包括以下步驟：步驟S1，以輸入層為第一層，封裝五個計算模塊；步驟S2，將神經(jīng)網(wǎng)絡(luò)內(nèi)部計算節(jié)點的連接二值化；步驟S3，為每個計算節(jié)點學(xué)習(xí)結(jié)構(gòu)權(quán)值，步驟S4，采用二元錦標(biāo)賽選擇法，構(gòu)建父代種群P。步驟S5，組成子代種群Q。步驟S6，對子代種群Q中的個體執(zhí)行變異操作。步驟S7，子代種群Q中的每個個體解碼為對應(yīng)的神經(jīng)網(wǎng)絡(luò)，獲得結(jié)構(gòu)權(quán)值；步驟S8，將父代種群P和子代種群Q合并為種群R，采用環(huán)境選擇法選出數(shù)個個體作為下一代的原始種群，并反饋至步驟S4，直到到達(dá)預(yù)定的最大進(jìn)化代數(shù)。進(jìn)化結(jié)束之后，將適應(yīng)度值最高的個體作為最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)輸出。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分類模型構(gòu)建技術(shù)領(lǐng)域，尤其涉及一種改進(jìn)的基于超網(wǎng)絡(luò)的進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法。

背景技術(shù)

圖像分類(image classification)任務(wù)是基于圖片中所反映的不同特征信息，將不同類別的目標(biāo)區(qū)別開的圖像處理技術(shù)。由于許多應(yīng)用于圖像分類任務(wù)的模型可作為特征提取網(wǎng)絡(luò)遷移至其他的計算機(jī)視覺領(lǐng)域，因此，圖像分類任務(wù)是計算機(jī)視覺領(lǐng)域的一個基本任務(wù)，圖像分類模型的設(shè)計也是研究人員關(guān)注的熱點。但是，人工設(shè)計神經(jīng)網(wǎng)絡(luò)模型需要經(jīng)驗豐富的專家，通過對數(shù)據(jù)集的分布及特征仔細(xì)研究，反復(fù)試驗，才能設(shè)計出性能優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型。因此，需要耗費巨大的時間、人力成本。

目前，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法(Neural Architecture Search,NAS)引起了研究人員的廣泛關(guān)注。此類算法能夠讓沒有太多專業(yè)知識的情況下，基于給定的數(shù)據(jù)集自動設(shè)計出有效的神經(jīng)網(wǎng)絡(luò)架構(gòu)。由于NAS算法通常需要對搜索空間中的神經(jīng)網(wǎng)絡(luò)模型持續(xù)評估，需要大量的計算機(jī)算力。為了提高NAS算法的搜索效率，目前有兩種主要方法：

第一種方法是構(gòu)建一種端到端的性能預(yù)測器(End-to-End PerformancePredictor)。這種方法需要一種編碼方法，將神經(jīng)網(wǎng)絡(luò)架構(gòu)唯一映射到一組數(shù)字決策變量中。之后將該神經(jīng)網(wǎng)絡(luò)架構(gòu)的編碼和其性能表現(xiàn)(例如，分類的準(zhǔn)確度)構(gòu)成一個數(shù)據(jù)對，作為性能預(yù)測器的輸入，對性能預(yù)測器進(jìn)行訓(xùn)練。性能預(yù)測器訓(xùn)練完成之后，可以直接預(yù)測搜索空間內(nèi)神經(jīng)網(wǎng)絡(luò)模型的性能，無需對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，進(jìn)而提高了搜索效率。但是，這種方法遵循先訓(xùn)練后預(yù)測的方式，需要先利用一組訓(xùn)練樣本對該性能預(yù)測器進(jìn)行訓(xùn)練。一般來說，訓(xùn)練的樣本越多，預(yù)測器的性能就越好。然而，收集更多的訓(xùn)練樣本意味著要消耗更多的計算資源，因此對搜索效率造成一定的影響。因此，在實際的使用中，需要利用增量策略采樣更有效的神經(jīng)網(wǎng)絡(luò)架構(gòu)，需要一定的計算成本。

第二種方法是基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法(One-shot NeuralArchitecture Search)。這種方法需要首先訓(xùn)練一個超網(wǎng)絡(luò)(One-shot model)作為搜索空間；然后從該超網(wǎng)絡(luò)中隨機(jī)采樣一定數(shù)量的子網(wǎng)絡(luò)進(jìn)行性能評估，并根據(jù)子網(wǎng)絡(luò)的性能，對子網(wǎng)絡(luò)進(jìn)行排名；最后，將性能評估最好的子網(wǎng)絡(luò)作為算法的輸出。由于子網(wǎng)絡(luò)可以從超網(wǎng)絡(luò)中繼承權(quán)值，無需訓(xùn)練即可評估，因此，可以有效的提高NAS算法的搜索效率。然而，現(xiàn)有的基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法存在有一定的缺陷。首先，超網(wǎng)絡(luò)內(nèi)部節(jié)點訓(xùn)練不均衡，導(dǎo)致子網(wǎng)絡(luò)評估階段的性能排名不準(zhǔn)確，進(jìn)而導(dǎo)致算法并沒有找到性能最佳的網(wǎng)絡(luò)架構(gòu)。其次，在訓(xùn)練超網(wǎng)絡(luò)時，不同子網(wǎng)絡(luò)之間的相互干擾可能導(dǎo)致基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法不穩(wěn)定，超網(wǎng)絡(luò)收斂速度較慢，甚至無法收斂，進(jìn)而導(dǎo)致子模型的性能預(yù)測結(jié)果較差。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中基于超網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法表現(xiàn)不穩(wěn)定，超網(wǎng)絡(luò)訓(xùn)練收斂速度較慢甚至無法收斂等不足，本發(fā)明要解決的技術(shù)問題是提供一種基于超網(wǎng)絡(luò)的進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，使用進(jìn)化算法作為搜索策略基于超網(wǎng)絡(luò)自動生成神經(jīng)網(wǎng)絡(luò)架構(gòu)，以此來提高圖像分類任務(wù)的分類準(zhǔn)確性。

為了解決上述技術(shù)問題，本發(fā)明采用技術(shù)方案為：

一種改進(jìn)的基于超網(wǎng)絡(luò)的進(jìn)化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，其特征在于，包括以下步驟：