[發明專利]神經網絡結構搜索方法及裝置

在審

• 申請號: 202011043055.2
• 申請日: 2020-09-28
• 公開（公告）號: CN114330699A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 李明陽;周振坤;徐羽瓊
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

一種神經網絡結構搜索方法及裝置，涉及AI領域，能夠在保證理論時延和真實時延一致的情況下，利用較少的計算資源在較短的時間內確定性能優的神經網絡結構。包括：根據目標任務獲取超網絡，獲取超網絡中的每個深度學習算子在電子設備運行的時延，根據每個深度學習算子在電子設備運行的時延確定時延損失函數，對超網絡執行訓練操作，根據時延損失函數和網絡損失函數更新超網絡的模型參數，直到更新后的超網絡滿足目標任務在電子設備上運行的條件，根據更新后的每個網絡層的架構參數，確定目標神經網絡結構。超網絡包括多個網絡層，每個網絡層包括多個節點，一個網絡層的任意兩個節點之間通過深度學習算子連接，模型參數包括每個網絡層的架構參數。

技術領域

本申請涉及人工智能(artificial intelligence，AI)領域，尤其涉及一種神經網絡結構搜索方法及裝置。

背景技術

隨著AI技術的快速發展，各種神經網絡模型層出不窮。神經網絡結構的性能對神經網絡模型的任務執行效果具有重要的影響。神經網絡結構的性能越優，神經網絡模型的任務執行效果越好。因此，構建神經網絡模型時，如何確定性能優的神經網絡結構是本領域技術人員的研究熱點。

神經網絡結構搜索(neural architecture search，NAS)技術應用而生，NAS技術可以在預先定義的搜索空間中自動搜索到性能最優的神經網絡結構。但是，現有技術中在使用NAS技術進行神經網絡結構的搜索時，存在計算資源的耗費較大，且無法保證理論時延和真實時延一致的問題。

發明內容

本申請提供一種神經網絡結構搜索方法及裝置，能夠在保證理論時延和真實時延一致的情況下，利用較少的計算資源在較短的時間內確定性能優的神經網絡結構。

第一方面，本申請提供一種神經網絡結構搜索方法，神經網絡結構搜索裝置根據目標任務獲取超網絡，并獲取超網絡中的每個深度學習算子在電子設備運行的時延，且根據每個深度學習算子在電子設備運行的時延，確定超網絡的時延損失函數，之后對超網絡執行訓練操作，根據時延損失函數和訓練過程中獲取到的網絡損失函數，更新超網絡的模型參數，直到更新后的超網絡滿足目標任務在電子設備上運行的條件，根據更新后的每個網絡層的架構參數，確定目標神經網絡結構。其中，超網絡包括多個網絡層，每個網絡層包括多個節點，一個網絡層的任意兩個節點之間通過深度學習算子連接，模型參數包括多個網絡層中每個網絡層的架構參數。

這樣，根據目標任務獲取的超網絡是一個包括多個網絡層，每個網絡層包括多個節點，任意兩個節點之間通過深度學習算子連接的結構，該超網絡包含所有可能用于執行目標任務的子網絡。本申請實施例通過訓練超網絡，更新超網絡的模型參數，該模型參數包括每個網絡層的架構參數，直到更新后的超網絡滿足條件為止，便可以根據更新后的每個網絡層的架構參數確定目標神經網絡結構，即確定出性能最優的神經網絡結構，與現有技術中的訓練大量的子網絡才能得到目標神經網絡結構相比，由于本申請實施例僅需要訓練超網絡便可以得到目標神經網絡結構，因此節省了大量的計算資源，縮短了搜索時間，提高了搜索效率。且，由于在更新模型參數時參考的是時延損失函數，該時延損失函數是通過根據每個深度學習算子在電子設備上運行的真實時延得到的，能夠實現在確定目標神經網絡結構時，保證理論時延和真實時延的一致。

可選的，在本申請的一種可能的實現方式中，上述“根據每個深度學習算子在電子設備運行的時延，確定超網絡的時延損失函數”的方法可以包括：神經網絡結構搜索裝置根據預存的算子與網絡嵌入系數的對應關系，確定每個深度學習算子對應的網絡嵌入系數，確定每個深度學習算子在電子設備運行的時延與該深度學習算子對應的網絡嵌入系數的乘積，并確定所有乘積的和值，之后根據和值和時延一致性系數，確定時延損失函數。

這樣，通過根據每個深度學習算子在電子設備上運行的真實時延，以及每個深度學習算子對應的網絡嵌入系數，實現了將離散的深度學習算子對應的時延構建成連續的時延約束函數，從而保證時延一致性。