[發明專利]一種基于自動機器學習的神經網絡結構自動搜索方法

在審

• 申請號: 202011492102.1
• 申請日: 2020-12-17
• 公開（公告）號: CN112633494A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 陳波;史特;左御丁;王慶先
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N20/00
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，包括以下步驟：

S1：基于自動機器學習的模型生成階段，利用神經網絡的單元cell，確定搜索空間S；

S2：利用搜索策略從搜索空間S中選擇一個具體結構s；

S3：基于搜索空間S，利用搜索策略對具體結構s進行搜索，并將搜索結果返回至搜索策略，完成神經網絡結構的自動搜索。

2.根據權利要求1所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S1中，將單元cell進行堆疊，得到搜索空間S；所述單元cell由兩個輸入節點、中間節點、輸出節點和邊組成；所述單元cell的邊表示候選操作。

3.根據權利要求2所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S3包括以下子步驟：

S31：基于搜索空間S，利用搜索策略對具體結構s進行第一階段搜索；

S32：對單元cell的邊進行歸一化處理，得到單元cell中邊的權重；

S33：將單元cell中邊的權重進行排序，篩選得到權重最高的候選操作；

S34：根據權重最高的候選操作，依次進行第二階段搜索和第三階段搜索，并將搜索結果返回至搜索策略，完成神經網絡結構的自動搜索。

4.根據權利要求3所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S31中，第一階段搜索的結構包括5個單元cell，第一階段搜索包含每個單元cell中所有邊的候選操作，分別為：max_pool_3x3、avg_pool_3x3、skip_connect、sep_conv_3x3、sep_conv_5x5、dil_conv_3x3、dil_conv_5x5和none。

5.根據權利要求3所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S32中，單元cell中邊的權重w_i.j(x_i)的計算公式為：

其中，表示softmax操作，B_i,j表示邊i和邊j的操作空間，b表示每條邊代表一個候選的函數，α_b^(i,j)表示結構參數，α表示所有邊的加權值矩陣，exp(·)表示指數函數運算，b'表示對候選函數的求導，x_i表示i節點，α_b‘^(i,j)表示對候選參數求導后的結構參數，B表示邊的操作空間。

6.根據權利要求3所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S33中，利用0-1損失函數對篩選候選操作進行修正，其計算公式為：

totalL＝l_val(ω^*(α),α)+ω_0-1L

ω^*＝argmin_ωl_train(ω,α)

其中，totalL表示總0-1損失函數，L表示損失函數，l_val表示驗證集的損失值，α表示所有邊的加權值矩陣，ω表示參數矩陣，ω^*表示搜索空間變連續后最優的參數矩陣值，N表示邊的總數，exp(·)表示指數函數運算，i和j表示邊，ω_0-1L表示權重系數，B_i,j表示邊i和邊j的操作空間，α_b^(i,j)表示結構參數，argmin(·)表示使目標函數取最小值時的變量值，l_train表示訓練集的損失值，b'表示對候選函數的求導，α_b‘^(i,j)表示對候選參數求導后的結構參數。

7.根據權利要求3所述的基于自動機器學習的神經網絡結構自動搜索方法，其特征在于，所述步驟S33中，利用正則化dropout的方法對篩選權重過程中的跳躍連接進行切斷。