[發明專利]一種基于逐層漸進式的高效神經網絡結構設計方法

在審

• 申請號: 202110418695.5
• 申請日: 2021-04-19
• 公開（公告）號: CN113344173A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 劉星宇;熊偉明;王濤;蔣佳;王易;梁虹;金鑫;徐航
• 申請（專利權）人: 湖南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于逐層漸進式的高效神經網絡結構設計方法。本發明的目的是解決神經網絡結構搜索時間開銷巨大的問題，為此采用逐層漸進式的方法實現高效的神經網絡結構搜索，從單層神經網絡結構開始，搜索該層的網絡結構，并融合訓練當前找到的所有層，接下來搜索下一層網絡結構，直到達到規定層數。該方法能找到使搜索時間在普通算力可接受的范圍內、模型的準確率高、推理時延短的優秀神經網絡模型。

技術領域

本發明涉及一種人工智能領域中深度神經網絡結構設計的方法，特別涉及一種高效神經網絡結構搜索方法。

背景技術

近年來，深度學習技術在大量的計算視覺任務上取得了巨大的成功，深度神經結構是一個決定性能的關鍵要素，全自動的神經結構搜索方法的研究近年來受到了越來越多的關注。

一個優秀的網絡模型必然具有獨特的模型結構，這些模型結構的設計都需要有足夠的經驗。在工業界中，人們常用的模型結構就是殘差網絡(Res-18、Res-34)，它幾乎被應用在機器學習的各個領域，如圖像分類、目標檢測、語義分割等，甚至可以將二維的卷積神經網絡用在三維的視頻分類任務上面，并且現在很多數據集上的最優準確率都這些經由專家們手動設計的模型保持著，因此不難得出一個結論，應用機器學習的算法時大家都是在挑選公認的最優的模型來使用，然而這樣一個公認的最優模型其實只是在某個數據集上取得了最先進的 (state of the art)精度，并不一定能夠泛化。比如圖像分類網絡模型能夠得到大家的公認一般都是在ImageNet數據集上面取得了最好的精度以及不錯的推理時延。也許對于某一個特定的數據集，為他量身定制一個網絡模型會更加的有效。但是設計網絡模型需要具有大量的知識經驗，并非每個人都能夠做到，因此自動網絡結構設計的方法應運而生，2017谷歌公司提出Neural architecture search with reinforcement learning論文便是這個領域的開山之作。

自動機器學習中的神經網絡結構搜索(NAS)方法不僅能夠為某個數據集量身定制他們自己的網絡模型，同時也能夠搜索出可遷移的網絡模型。考慮到網絡模型的搜索代價巨大，因此從谷歌NAS之后的搜索方法大都是使用Cell作為搜索空間，而不再是像谷歌NAS那樣的全局搜索，相反這些自動搜索的方法最終的網絡模型都是通過若干個相同的Cell串聯起來形成了最終的網絡模型。Differentiable Architecture Search(DARTS)論文中通過將搜索空間定義為連續可微的形式進行搜索，算得上是連續空間搜索方法中的標桿，廈門大學的一篇論文Multinomial Distribution Learning for Effective NeuralArchitecture Search 便是在此基礎上進行的改進并且取得了最先進的成果。