[發明專利]一種基于進化計算的神經網絡架構搜索方法和系統

有效

• 申請號: 202110120132.8
• 申請日: 2021-01-28
• 公開（公告）號: CN112784949B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 高明柯;杜欣軍;趙卓;逄濤;冒睿瑞;張浩博;郭威;王熠;劉曉娟;于楠
• 申請（專利權）人: 華東計算技術研究所（中國電子科技集團公司第三十二研究所）
• 主分類號: G06N3/006
• 分類號: G06N3/006;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

本發明提供了一種基于進化計算的神經網絡架構搜索方法及系統，包括：根據目標需求和平臺要求，通過目標函數設置目標要求；根據設置的搜索空間大小，基于子網絡模塊集合隨機生成N個無向有環圖，作為進化尋優的網絡搜索空間；在啟發式信息引導下，結合信息素動態揮發和概率路徑選擇機制，通過蟻群算法在隨機生成的N個無向有環圖中搜索N條有向無環圖尋優路徑，構成候選集；通過訓練和測試獲取候選集中N條尋優路徑的準確率和推理時延，選取最優結果作為當前最優網絡結構；評估當前網絡架構是否達到目標要求。本發明具有一定的應用靈活性和可擴展性，在資源受限的情況下獲得在精度和速度之間實現良好權衡的神經網絡模型。

技術領域

本發明涉及深度神經網絡的架構設計及優化技術領域，具體地，涉及一種基于進化計算的神經網絡架構搜索方法和系統。

背景技術

深度學習對非結構化數據具有強大的自動特征提取功能，具有強大的自動表示能力，因此其在機器翻譯、圖像識別、語音識別、目標檢測、自然語言處理等許多領域都取得了重大突破和進展。基于神經網絡架構的設計對數據的特征表示和最終的性能的重要性，研究人員專注于設計各種復雜的神經網絡架構，以獲得良好的數據特征表示。但是，神經網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗，需要大量的時間和精力。而人類現有的先驗知識和固定的思維范式在一定程度上難以發現更優的網絡架構，初學者也很難根據自己的實際需要對網絡架構進行合理的修改。因此，神經架構搜索(NeuralArchitecture?Search,NAS)應運而生。NAS旨在有限的計算資源下，利用算法自動化設計具有最優性能的神經網絡架構，盡可能減少人工的干預。通過使用強化學習方法得到的網絡架構在圖像分類任務上達到SOTA分類精度的研究被認為是NAS的開創性工作，也說明自動化網絡架構設計思想是可行的。隨后，利用演化學習來獲得類似結果的大規模進化計算的研究工作再次驗證了這一想法的可行性。NAS已迅速應用在目標檢測、語義分割、對抗學習、建筑規模和多目標優化等方面。

由于NAS方法需要強大的算力支撐且需消耗龐大的計算量，因此，出現了重構搜索空間以減小搜索范圍降低搜索復雜度以及通過參數共享、模型重用、梯度優化等策略加速網絡架構的搜索以減少計算量的研究。早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增；盡管采用參數共享策略來加快架構搜索的進程，但很可能導致候選架構的排名不準確，將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。基于One-Shot的可微分神經網絡架構搜索方法將搜索空間從離散放松到連續，從而可以使用梯度下降來同時搜索架構和學習權重，縮短了搜索時間，但當搜索輪數過大時，會導致搜索的架構中包含很多的跳躍連接，使得網絡變得越淺。淺度網絡可學習的參數更少，具有的表達能力更弱，導致網絡性能急劇下降。改進的可微分神經網絡架構搜索方法雖然采用早停機制直接控制跳躍連接的數量，但是早停的時機把控是一個重要的問題，過早的停止會導致架構搜索不全面。因此，如何在資源受限的條件下取得性能和效率之間的平衡是亟需解決的問題。

國內專利CN111353313A公開了一種基于進化神經網絡架構搜索的情感分析模型構建方法，包括以下步驟：群初始化；以嵌入層為第一層，封裝數個卷積層單元、數個池化單元和數個全連接單元，并以全連接單元結尾，隨機產生M條染色體；采用準確率作為適用度函數進行適應度評估；采用輪盤賭法選擇數個染色體個體，組成第一染色體種群；采用不等長染色體交叉方法對第一染色體種群的染色體個體進行兩兩交叉，得到數個染色體個體，組成第二染色體種群；對第二染色體種群的染色體個體的某一卷積層單元或池化單元或全連接單元進行添加或替換或刪除；計算第二染色體種群的染色體個體的適應度，直至到達預設的迭代次數，并采用適應度選出最優的神經網絡結構的染色體個體。