[發明專利]神經網絡架構搜索方法、裝置、存儲介質及電子設備

在審

• 申請號: 202111213860.X
• 申請日: 2021-10-19
• 公開（公告）號: CN114118403A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 才賀;馮天鵬;郭彥東
• 申請（專利權）人: 上海瑾盛通信科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

本申請實施例公開了一種神經網絡架構搜索方法、裝置、存儲介質及電子設備，其中，方法包括：獲取由至少兩類搜索模型單元組成的初始神經搜索網絡，所述至少兩類搜索模型單元包括至少兩類屬于同架構類型的不同架構參數對應的搜索模型單元，基于業務樣本數據對初始神經搜索網絡進行架構搜索訓練處理，得到訓練后的第一神經網絡模型，基于所述第一神經網絡模型對應的模型參數生成第二神經網絡模型。采用本申請實施例，可以提高架構搜索效率，節省搜索時間。

技術領域

本申請涉及計算機技術領域，尤其涉及一種神經網絡架構搜索方法、裝置、存儲介質及電子設備。

背景技術

隨著計算機技術的發展，神經網絡模型架構絕大多數是通過人工設計的。在神經網絡模型架構的設計的過程中，需要大量的研究和實驗來對不同的網絡模型結構效果進行嘗試和探索。另外，神經網絡的結構逐年優化，新的網絡結構不斷涌現也越來越復雜。

神經網絡架構搜索(Neural Architecture Search，NAS)作為一種可以自動涉及神經網絡結構的技術，引起了越來越多的研究者們的注意。NAS設計出來的最佳架構已經在多種任務，例如圖像分類、語義分割、對象檢測等等任務上面，取得了超越人類手工設計的網絡架構的性能。

發明內容

本申請實施例提供了一種神經網絡架構搜索方法、裝置、存儲介質及電子設備，可以為業務線程分配到合適的處理器集群。本申請實施例的技術方案如下：

第一方面，本申請實施例提供了一種神經網絡架構搜索方法，所述方法包括：

獲取由至少兩類搜索模型單元組成的初始神經搜索網絡，所述至少兩類搜索模型單元包括至少兩類屬于同架構類型的不同架構參數對應的搜索模型單元；

基于業務樣本數據對初始神經搜索網絡進行架構搜索訓練處理，得到訓練后的第一神經網絡模型；

基于所述第一神經網絡模型對應的模型參數生成第二神經網絡模型，所述第二神經網絡模型對應的搜索模型單元數量大于或等于所述第一神經網絡模型對應的搜索模型單元數量。

第二方面，本申請實施例提供了一種神經網絡架構搜索裝置，所述裝置包括：

網絡獲取模塊，用于獲取由至少兩類搜索模型單元組成的初始神經搜索網絡，所述至少兩類搜索模型單元包括至少兩類屬于同架構類型的不同架構參數對應的搜索模型單元；

搜索訓練模塊，用于基于業務樣本數據對初始神經搜索網絡進行架構搜索訓練處理，得到訓練后的第一神經網絡模型；

模型確定模塊，用于基于所述第一神經網絡模型對應的模型參數生成第二神經網絡模型，所述第二神經網絡模型對應的搜索模型單元數量大于或等于所述第一神經網絡模型對應的搜索模型單元數量。

第三方面，本申請實施例提供一種計算機存儲介質，所述計算機存儲介質存儲有多條指令，所述指令適于由處理器加載并執行上述的方法步驟。

第四方面，本申請實施例提供一種電子設備，可包括：處理器和存儲器；其中，所述存儲器存儲有計算機程序，所述計算機程序適于由所述處理器加載并執行上述的方法步驟。

本申請一些實施例提供的技術方案帶來的有益效果至少包括：

在本申請一個或多個實施例中，電子設備獲取由至少兩類搜索模型單元組成的初始神經搜索網絡，所述至少兩類搜索模型單元包括至少兩類屬于同架構類型的不同架構參數對應的搜索模型單元，然后基于業務樣本數據對初始神經搜索網絡進行架構搜索訓練處理，得到訓練后的第一神經網絡模型，最后基于所述第一神經網絡模型對應的模型參數可以生成第二神經網絡模型，通過避免采用同一類架構參數相同的搜索模型單元搭建初始神經搜搜網絡，可以適應不同神經網絡深度的架構搜索需求，避免網絡結構單一導致的架構搜索效率低時間長，大幅提升了神經網絡搜索架構的效率，節省了網絡模型搜索時間。

附圖說明