[發明專利]神經網絡搜索的方法和裝置

在審

• 申請號: 202010075167.X
• 申請日: 2020-01-22
• 公開（公告）號: CN113159268A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 許晨陽;張國川;羅蘭;王琪瑞;于璠
• 申請（專利權）人: 華為技術有限公司;浙江大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王龍華;王君

本申請涉及人工智能領域，提供一種神經網絡的搜索方法和裝置，該方法應用于計算系統，該系統包括多個智能體，該方法包括：確定多個候選神經網絡，多個智能體中的第一智能體用于處理所述多個候選神經網絡中每個候選神經網絡中的同一個部分；分別將所述每個候選神經網絡中的所述第一智能體處理的那部分神經網絡的上下文作為所述第一智能體的輸入，得到對應于所述多個候選神經網絡的多個新的候選神經網絡；根據所述多個新的候選神經網絡確定目標神經網絡。從而可以提高建立神經網絡的效率。

技術領域

本申請涉及人工智能領域，并且更具體地，涉及一種神經網絡搜索的方法和裝置。

背景技術

近年來，神經網絡快速發展，在一些領域深度神經網絡已經優于人類。但在實際應用中，由于應用場景、數據集、部署設備及指標要求等不同，往往需要經驗豐富的專家花費大量的時間和精力才能構建出滿足應用環境的神經網絡。為了提高建立神經網絡的效率，業界提出利用神經網絡結構搜索(neural architecture search，NAS)來設計神經網絡，以得到滿足應用環境的神經網絡。

神經網絡結構搜索能夠應用特定數據集自動搜索滿足特定約束條件的達成特定目標的神經網絡，即使用者不需要場景經驗和深度學習的知識技能，就可以完成采用深度神經網絡建模的過程。

當前，神經網絡結構搜索面臨著搜索空間維度高、搜索時間長等問題，導致建立神經網絡的效率較低。提高建立神經網絡的效率，是亟需解決的技術問題。

發明內容

本申請提供一種神經網絡搜索的方法和裝置，可以提高建立神經網絡的效率。

第一方面，提供了一種神經網絡搜索的方法，該方法應用于計算系統，該系統包括多個智能體，包括：確定多個候選神經網絡，多個候選神經網絡具有相同的網絡結構，多個智能體中的第一智能體用于處理多個候選神經網絡中每個候選神經網絡中的同一個部分，第一智能體為多個智能體中的一個；分別將每個候選神經網絡中的第一智能體處理的那部分神經網絡的上下文作為所述第一智能體的輸入，得到對應于多個候選神經網絡的多個新的候選神經網絡，新的候選神經網絡包括第一智能體處理后的部分網絡結構與輸入，其中，第一智能體處理的那部分神經網絡的上下文為一個候選神經網絡中除第一智能處理的那部分之外剩余的候選神經網絡；根據多個新的候選神經網絡確定目標神經網絡。

在現有ENAS中，采用單智能體策略梯度模型進行網絡結構序列預測，從而對每一候選的網絡結構進行訓練，從中選出滿足需求的神經網絡。導致搜索空間大，難以學習到最優路徑，此外，需要大量的網絡結構樣本。

在本申請實施例中，采用多智能體生成神經網絡，其中，每個智能體負責每個候選神經網絡中同一部分網絡結構的生成與學習，例如對于多個七層的卷積神經網絡結構，一個智能體只負責多個七層卷積神經網絡結構的第二層網絡結構是生成和學習，因此，可以減小每個智能體的搜索空間，有利于學習到最優路徑，從而可以提高建立神經網絡的效率。

換句話說，在本申請實施例中，通過采用多智能體分別負責網絡不同部分的生成，相對于現有ENAS，改進了網絡生成的序列結構。改進了網絡生成的序列結構，可以理解為，解耦了現有的網絡結構搜索方案中網絡結構生成的時序。因此，本申請實施例可以提高網絡結構采樣的效率，可以整體上提高神經網絡結構搜索的效率。

結合第一方面，在第一方面的某些實現方式中，第一智能體負責的神經網絡的部分網絡結構為所述神經網絡的一個節點的一個指令。

在本申請實施例中，采用多智能體生成神經網絡，其中，每個智能體負責部分網絡結構的生成與學習，每次生成網絡結構時，只有一個智能體產生動作，即每次訓練時，只有一個智能體參與生成網絡結構，使得一個智能體的輸入可以不依賴其他智能體的輸出，從而可以使得多智能體并行采樣的效率得到充分發揮。

換句話說，在本申請實施例中，通過使得一個智能體的輸入可以不依賴其他智能體的輸出，優化了智能體策略更新機制。