[發明專利]神經網絡生成方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011381177.2
• 申請日: 2020-11-30
• 公開（公告）號: CN112381227B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 游山;李路軍;王飛;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/045
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種神經網絡生成方法、裝置、電子設備及存儲介質，該方法包括：基于超網絡，確定神經網絡結構的初始搜索空間；所述初始搜索空間中包括多條搜索路徑；所述超網絡包括多個網絡層，每個網絡層包括至少一個算子；每條搜索路徑包括所述超網絡的每個網絡層中的一個算子；利用路徑判別器對所述初始搜索空間中的搜索路徑進行篩選，基于篩選結果進行所述超網絡的訓練，確定訓練后的超網絡對應的壓縮后的搜索空間；其中，所述路徑判別器為經過訓練的、用于對搜索路徑對應的神經網絡結構的性能進行分類的模型；從所述壓縮后的搜索空間中，確定目標搜索路徑，并基于所述目標搜索路徑生成目標神經網絡。

技術領域

本公開涉及深度學習技術領域，具體而言，涉及一種神經網絡生成方法、數據處理方法、智能行駛控制方法、裝置、電子設備及存儲介質。

背景技術

深度學習模型在很多任務上都取得了不錯的效果，尤其在以圖像作為待處理對象的任務中，比如，目標檢測、圖像分割等任務，由于深度學習模型具有良好的圖像理解能力，能夠準確提取真實空間信息在圖像中的映射，因此被廣泛應用于各個領域內。深度學習模型的參數對深度學習模型的性能起到了重要作用，但是，由于眾多的超參數和網絡結構參數會產生爆炸性的組合，使得調參對于深度學習模型來說是一項較為困難的事情。

一般的，自動網絡結構搜索是深度學習領域目前較為新穎與實用的問題，它旨在可以解除手工設計網絡的高成本與經驗偏差，獲得深度學習模型的基礎網絡結構。但是，由于搜索空間中包含有大量的網絡結構，使得網絡結構搜索算法從搜索空間中搜索到理想的網絡結構往往需要較長的訓練和搜索時間，效率低下，且需要占用大量的硬件資源。

發明內容

有鑒于此，本公開至少提供一種神經網絡生成方法、數據處理方法、智能行駛控制方法、裝置、電子設備及存儲介質。

第一方面，本公開提供了一種神經網絡生成方法，包括：

基于超網絡，確定神經網絡結構的初始搜索空間；所述初始搜索空間中包括多條搜索路徑；所述超網絡包括多個網絡層，每個網絡層包括至少一個算子；每條搜索路徑包括所述超網絡的每個網絡層中的一個算子；

利用路徑判別器對所述初始搜索空間中的搜索路徑進行篩選；

基于篩選結果進行所述超網絡的訓練；

確定訓練后的超網絡對應的壓縮后的搜索空間；其中，所述路徑判別器為經過訓練的、用于對搜索路徑對應的神經網絡結構的性能進行分類的模型；

從所述壓縮后的搜索空間中，確定目標搜索路徑，并基于所述目標搜索路徑生成目標神經網絡。

上述方法中，通過利用路徑判別器對初始搜索空間中的多條搜索路徑進行篩選，即利用訓練的路徑判別器判斷初始搜索空間中的搜索路徑的結構標簽，將性能低劣的搜索路徑篩除，基于篩選結果進行超網絡的訓練，避免對性能低劣的搜索路徑進行訓練時，影響性能良好的搜索路徑的參數，提高了超網絡的訓練效率。同時，在對超網絡進行訓練之后，可以得到訓練后的超網絡對應的壓縮后的搜索空間，壓縮后的搜索空間為對初始搜索路徑進行篩選后得到的搜索空間，壓縮后的搜索空間中的搜索路徑較少，通過基于壓縮后的搜索空間確定目標搜索路徑時，提高了確定目標搜索路徑的效率，進而提高了基于目標搜索路徑生成目標神經網絡的效率，減少了網絡結構搜索中所消耗的硬件資源。

一種可能的實施方式中，利用路徑判別器對所述初始搜索空間中的搜索路徑進行篩選，基于篩選結果進行所述超網絡的訓練，包括：

利用路徑判別器確定所述初始搜索空間中的多條搜索路徑的結構標簽；其中，所述結構標簽包括第一結構標簽和第二結構標簽，所述第一結構標簽的結構性能優于所述第二結構標簽；

通過訓練所述多條搜索路徑中對應第一結構標簽的搜索路徑，得到訓練后的超網絡。