[發明專利]一種EfficientNet的結構參數的搜索方法、系統、設備以及介質

在審

• 申請號: 202010057657.7
• 申請日: 2020-01-19
• 公開（公告）號: CN111260035A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 于彤
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤

本發明公開了一種EfficientNet的結構參數的搜索方法，包括以下步驟：在預設范圍的搜索空間中隨機初始化結構參數；利用隨機初始化的結構參數生成EfficientNet；預測經過第一預設數量的epoch訓練后的EfficientNet的最終精度；響應于預測的最終精度小于閾值，再次預測經過第二預設數量的epoch訓練后的EfficientNet的最終精度，其中，第二預設數量大于第一預設數量；響應于該預測或者再次預測的最終精度小于閾值，停止訓練，保留并記錄對應的結構參數，并返回隨機初始化結構參數的步驟。本發明還公開了一種系統、計算機設備以及可讀存儲介質。本發明用隨機搜索替代原本的網格搜索方法，并通過提前預測最終精度的方法，無需將所有的結構參數組合確定的神經網絡訓練至收斂，大大減少對計算資源的消耗。

技術領域

本發明涉及神經網絡領域，具體涉及一種EfficientNet的結構參數的搜索方法、系統、設備以及存儲介質。

背景技術

EfficientNets是2019年5月在ICML19上提出的網絡，它的大體思路與上面提到的CNN開發思路相似，同樣是縮放模型，EfficientNet提出了一個更系統的方法：第一，采用復合的模型縮放方法。不再獨立調整深度、寬度和圖像分辨率，而是增加了上述三個參數之間的依賴關系，平衡三者之間的配置，從而在當前的計算資源下最大限度地提升網絡精度。通過調整這三個參數形成了從EfficientNet-b0到b7一系列不同精度的網絡。在MobileNet和ResNet上驗證了該方法的可行性。第二，用AutoML MNAS框架搜索了EfficientNet的基礎結構，架構類似于MobileNet v2,但精度更高。最終EfficientNets系列達到了比現有CNN更高精度的同時，減少了計算量和對參數的使用，可能是現在發表的效率最高的網絡之一。

在現有的方法中，縮放EfficientNet所需的三個結構相關參數(深度、寬度、圖像分辨率)是用網格搜索確定的，模型縮放不會改變模型的基礎結構，而是根據計算資源決定將基礎結構改變多少。

在縮放網絡時，EfficientNet調整的參數主要包括網絡深度(d)，寬度(w)和訓練圖片的分辨率(r)，整個問題可以被定義如下。

對于CNN的第i層可以被定義為Y_i＝F_i(X_i),其中Y_i為輸出張量，X_i為輸入張量H_i和W_i是空間維度，C_i是通道數。CNN網絡通常可以分幾個階段，每個階段的結構基本相同，所以可以表示為其中代表F_i在第i階段重復了L_i次。一般來說CNN的設計是去尋找某些層的最優結構F_i，但EfficientNet的側重點不同，F_i的基本結構不變，通過縮放尋找網絡最佳的深度(d)、寬度(w)和分辨率(r)，從而獲得在當前資源配置下最高精度的模型。主要思路如下：

max_d,w,rAccuracy(N(d,w,r))，在以下條件內使網絡的精度最高

調整網絡結構

Memory(N)≤target_memory，在對顯(內)存的消耗小于目標值

FLOPS(N)≤tartget_flops，對計算量的消耗小于目標值

其中d,w和r是決定模型縮放規模和圖像分辨率，在EfficientNet的工作中，這三個參數是相關的，并以一個復合系數φ統一縮放，如下

深度(depth)：

寬度(width)：

分辨率(resolution)：

s.tα·β²·γ²≈2,α≥1,β≥1,γ≥1