[發明專利]一種神經網絡模型的構建方法、設備以及存儲介質

有效

• 申請號: 201811463775.7
• 申請日: 2018-12-03
• 公開（公告）號: CN109615073B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 劉紅麗;李峰;劉宏剛
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰

本發明公開了一種實現圖像的分類的神經網絡模型的構建方法，包括步驟：S1，構建單元結構搜索網絡、體系結構搜索網絡、圖像訓練集以及隨機編碼數組；S2，利用單元結構搜索網絡、體系結構搜索網絡以及隨機編碼數組生成神經網絡模型；S3，將圖像訓練集輸入神經網絡模型得到實際分類結果；S4，判斷實際分類結果是否滿足預設條件，若不滿足，則進行步驟S5；S5，根據實際分類結果以及圖像訓練集的理論分類更新單元結構搜索網絡以及體系結構搜索網絡；S6，重復S2?S5，直到在S4得出實際分類結果滿足預設條件的判斷。本發明公開的方法將原搜索空間轉換為單元結構搜索和體系結構搜索兩個空間，通過自動學習方式搜索體系最佳結構，增強生成的模型架構的靈活性。

技術領域

本發明涉及圖像分類領域，更具體地，特別是指一種神經網絡模型的構建方法、設備以及可讀存儲介質。

背景技術

神經網絡模型是一種可任意堆砌的模型結構，基礎的組件包括FC(全連接層)、Convolution(卷積層)、Polling(池化層)、Activation(激活函數)等，后一個組件以前一個組件的輸出作為輸入，不同的組件連接方式和超參配置方式在不同應用場景有不同的效果。神經架構搜索(Neural Architecture Search，NAS)，目標是從一堆神經網絡組件中，搜索到一個最優的神經網絡模型。其中，常見的搜索方法包括隨機搜索、貝葉斯優化、進化算法、強化學習、基于梯度的算法等。

Zoph等人在2016年提出采用RNN去搜索一個最好的網絡結構，但因搜索空間太大，耗時22,400GPU工作天數，于2017年改成采用強化學習搜索CNN的效果最好的卷積單元(conv cell)，再用這些conv cell來構建一個更好的網絡，但是該算法在CIFAR-10和ImageNet上獲得當前最佳架構仍需要2000個GPU工作天數。人們已經提出了很多加速方法，例如提出多個架構之間共享權重，以及基于連續搜索空間的梯度下降的可微架構搜索。但這些算法都采用手工設定網絡體系結構的方法，導致體系架構的靈活性存在挑戰。

由此可見，當前神經架構搜索算存在如下問題：

(1)由于組合的方式太多，所以搜索空間巨大，函數計算代價巨大；

(2)手工設計模型體系結構，缺乏靈活性。

發明內容

有鑒于此，為了克服上述問題的至少一個方面，本發明實施例的提出一種用于實現圖像的分類的神經網絡模型的構建方法，包括以下步驟：

S1，構建單元結構搜索網絡、體系結構搜索網絡、圖像訓練集以及隨機編碼數組；

S2，利用單元結構搜索網絡、體系結構搜索網絡以及隨機編碼數組生成所述神經網絡模型；

S3，將所述圖像訓練集輸入所述神經網絡模型以得到實際分類結果；

S4，根據圖像訓練集的理論分類來判斷所述實際分類結果是否滿足預設條件，若不滿足，則進行步驟S5；

S5，根據所述實際分類結果以及所述理論分類來更新所述單元結構搜索網絡以及所述體系結構搜索網絡；

S6，重復步驟S2-S5，直到在S4得出實際分類結果滿足預設條件的判斷。

在一些實施例中，得到滿足預設條件的實際分類結果的神經網絡模型為最優的神經網絡模型。

在一些實施例中，所述步驟S2進一步包括：

S21，利用所述單元結構搜索網絡和所述體系結構搜索網絡對所述隨機編碼數組進行搜索，得到單元結構編碼數組和體系結構編碼數組；以及

S22，利用解碼器對所述單元結構編碼數組和所述體系結構編碼數組進行解碼，得到所述神經網絡模型。

在一些實施例中，所述單元結構編碼數組包括下降單元數組和正常單元數組。