[發明專利]構建神經網絡架構搜索框架的方法、系統、設備及介質

有效

• 申請號: 202011495125.8
• 申請日: 2020-12-17
• 公開（公告）號: CN112633471B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 周鎮鎮;李峰;張瀟瀾
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/044
• 分類號: G06N3/044;G06N3/0464;G06N3/048;G06N3/08;G06F18/24
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤;張元

1.一種構建神經網絡架構搜索框架的方法，其特征在于，包括以下步驟：

根據搜索空間配置文件在超網絡類中生成初始超網絡結構，并使用數據集對所述初始超網絡結構中的超網絡進行預訓練；

利用控制器在預訓練后的所述超網絡中采樣子網絡，并根據任務類型在所述子網絡中設置對應的head網絡和neck網絡以形成子任務網絡，其進一步包括：通過所述控制器從所述超網絡中采樣一個Cell結構，并與之前選定的head網絡拼接形成子任務網絡；

對所述子任務網絡進行訓練，并根據訓練結果更新所述初始超網絡結構以得到超網絡結構；以及

基于多個子任務網絡對所述超網絡結構進行驗證，利用驗證結果，對超網絡和控制器進行優化，重復控制器采樣、驗證及優化過程，直到重復次數達到閾值，選擇具有最優驗證結果的超網絡結構作為神經網絡架構搜索框架；

其中，所述基于多個子任務網絡對所述超網絡結構進行驗證包括：

采樣多個子任務網絡，并按照預設堆疊方式對所述多個子任務網絡進行堆疊以生成備選網絡集，并使用所述備選網絡集對所述超網絡結構進行驗證，其進一步包括：

超網絡和采樣器訓練完成后，根據用戶設置選擇相應任務的head和neck網絡，通過采樣器在所述超網絡中采樣N個Cell結構，每個Cell按照預設堆疊方式進行堆疊，之后與head網絡/neck網絡拼接，生成N個子任務網絡；將驗證集數據分別輸入N個子任務網絡，計算準確度，對檢測任務計算loss^-1；輸出前k個任務網絡的結構數組，作為備選網絡集，在備選網絡生成的過程中，所有參數是固定的，網絡不進行訓練；

訓練超網絡的流程包括：接收用戶填寫得到配置信息后，按照配置信息任務類型選擇需要的head和neck，根據默認的配置信息生成超網絡和采樣控制器，采樣控制器從超網絡中采樣一個Cell結構，并與之前選定的head網絡拼接形成子任務網絡；凍結head網絡，子任務網絡只做一個epoch的訓練，并將cell的參數共享給超網絡中對應的參數；記錄采樣到的子網絡和對應的驗證集準確率，當采樣到指定batch的子網絡后，根據子網絡和準確率更新采樣控制器；

采樣器類通過RNN控制器實現，包含N個節點，每個節點含有4種激活函數，包括tanh/ReLU/identity/sigmoid，其中，第i(i1)個節點可以和輸入或者第i個節點之前的任一節點相連，共i種連接方式；

選擇head網絡和neck網絡的過程包括：首先判斷任務類型是否為分類，如果是，則設置分類head網絡；如果不是，再判斷任務類型是否為檢測，如果是，則設置檢測head網絡和neck網絡；如果不是，再判斷任務類型是否為分割，如果是，則設置分割head網絡和neck網絡；如果不是，進行報錯；

不同head網絡的構造方法如下：

圖像分類任務的head網絡，根據用戶需要分類的類別數量生成對應的分類器；

目標檢測任務需要添加neck和head，完成目標定位和輸出類別的網絡任務；

圖像分割任務需要添加neck和head，其head網絡應輸出圖像mask；

通過StackLSTMCell實現lstm的基礎cell，用于組成采樣器；

通過Sampler繼承自Mutator，用于實現采樣器，從超網絡中進行采樣；

通過SuperNet繼承自nn.Module，定義了搜索空間規模和節點的可選操作，Reload參數指示是否重載超網絡權重；

通過HeadLib繼承自nn.Module，用于實現面向分類和檢測兩類不同任務的head網絡；

通過SubNet依賴SuperNet和HeadLib中的out_node，用于實現cell+head的網絡結構；

通過TaskNet依賴SuperNet和HeadLib中的out_node，用于實現cell堆疊后+head的網絡結構；

Trainer訓練器包含對超網絡的訓練方法和對采樣器的訓練方法定義。

2.根據權利要求1所述的方法，其特征在于，還包括：

響應于出現中斷，判斷是否完成子任務網絡的訓練；

響應于未完成子任務網絡的訓練，按照預設地址讀取超網絡結構和參數，并恢復超網絡權重和訓練迭代次數。