[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法及裝置

在審

• 申請?zhí)枺?/td>: 202011043055.2
• 申請日: 2020-09-28
• 公開（公告）號: CN114330699A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 李明陽;周振坤;徐羽瓊
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

1.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，包括：

根據(jù)目標(biāo)任務(wù)獲取超網(wǎng)絡(luò)，所述超網(wǎng)絡(luò)包括多個網(wǎng)絡(luò)層，每個網(wǎng)絡(luò)層包括多個節(jié)點(diǎn)，一個網(wǎng)絡(luò)層的任意兩個節(jié)點(diǎn)之間通過深度學(xué)習(xí)算子連接；

獲取所述超網(wǎng)絡(luò)中的每個深度學(xué)習(xí)算子在電子設(shè)備運(yùn)行的時延；

根據(jù)每個深度學(xué)習(xí)算子在所述電子設(shè)備運(yùn)行的時延，確定所述超網(wǎng)絡(luò)的時延損失函數(shù)；

對所述超網(wǎng)絡(luò)執(zhí)行訓(xùn)練操作，根據(jù)所述時延損失函數(shù)和所述訓(xùn)練過程中獲取到的網(wǎng)絡(luò)損失函數(shù)，更新所述超網(wǎng)絡(luò)的模型參數(shù)，直到更新后的超網(wǎng)絡(luò)滿足所述目標(biāo)任務(wù)在所述電子設(shè)備上運(yùn)行的條件；所述模型參數(shù)包括所述多個網(wǎng)絡(luò)層中每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)；

根據(jù)更新后的每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述根據(jù)每個深度學(xué)習(xí)算子在所述電子設(shè)備運(yùn)行的時延，確定所述超網(wǎng)絡(luò)的時延損失函數(shù)，包括：

根據(jù)預(yù)存的算子與網(wǎng)絡(luò)嵌入系數(shù)的對應(yīng)關(guān)系，確定每個深度學(xué)習(xí)算子對應(yīng)的網(wǎng)絡(luò)嵌入系數(shù)；

確定每個深度學(xué)習(xí)算子在所述電子設(shè)備運(yùn)行的時延與該深度學(xué)習(xí)算子對應(yīng)的網(wǎng)絡(luò)嵌入系數(shù)的乘積，并確定所有乘積的和值；

根據(jù)所述和值和時延一致性系數(shù)，確定所述時延損失函數(shù)。

3.根據(jù)權(quán)利要求1或2所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述網(wǎng)絡(luò)層的架構(gòu)參數(shù)包括所述網(wǎng)絡(luò)層的每個深度學(xué)習(xí)算子的連接權(quán)重，所述根據(jù)更新后的每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括：

獲取更新后的每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)中，數(shù)值滿足預(yù)設(shè)條件的連接權(quán)重；

根據(jù)獲取到的所有連接權(quán)重，確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述根據(jù)所述時延損失函數(shù)和所述訓(xùn)練過程中獲取到的網(wǎng)絡(luò)損失函數(shù)，更新所述超網(wǎng)絡(luò)的模型參數(shù)，包括：

根據(jù)所述時延損失函數(shù)和所述網(wǎng)絡(luò)損失函數(shù)，確定所述超網(wǎng)絡(luò)的整體損失函數(shù)；

根據(jù)所述整體損失函數(shù)，更新所述超網(wǎng)絡(luò)的模型參數(shù)。

5.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，其特征在于，所述根據(jù)所述整體損失函數(shù)，更新所述超網(wǎng)絡(luò)的模型參數(shù)，包括：

根據(jù)所述整體損失函數(shù)，確定每個模型參數(shù)的梯度信息，所述梯度信息用于表示對應(yīng)的模型參數(shù)的調(diào)節(jié)系數(shù)；

根據(jù)每個模型參數(shù)的梯度信息，調(diào)整該模型參數(shù)。

6.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索裝置，其特征在于，包括：

獲取單元，用于根據(jù)目標(biāo)任務(wù)獲取超網(wǎng)絡(luò)，所述超網(wǎng)絡(luò)包括多個網(wǎng)絡(luò)層，每個網(wǎng)絡(luò)層包括多個節(jié)點(diǎn)，一個網(wǎng)絡(luò)層的任意兩個節(jié)點(diǎn)之間通過深度學(xué)習(xí)算子連接；獲取所述超網(wǎng)絡(luò)中的每個深度學(xué)習(xí)算子在電子設(shè)備運(yùn)行的時延；

確定單元，用于根據(jù)所述獲取單元獲取的每個深度學(xué)習(xí)算子在所述電子設(shè)備運(yùn)行的時延，確定所述超網(wǎng)絡(luò)的時延損失函數(shù)；

訓(xùn)練單元，用于對所述獲取單元獲取的所述超網(wǎng)絡(luò)執(zhí)行訓(xùn)練操作；

更新單元，用于根據(jù)所述確定單元確定的所述時延損失函數(shù)和所述訓(xùn)練單元所述訓(xùn)練過程中獲取到的網(wǎng)絡(luò)損失函數(shù)，更新所述超網(wǎng)絡(luò)的模型參數(shù)，直到更新后的超網(wǎng)絡(luò)滿足所述目標(biāo)任務(wù)在所述電子設(shè)備上運(yùn)行的條件；所述模型參數(shù)包括所述多個網(wǎng)絡(luò)層中每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)；

所述確定單元，還用于根據(jù)所述更新單元更新后的每個網(wǎng)絡(luò)層的架構(gòu)參數(shù)，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

7.根據(jù)權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索裝置，其特征在于，所述確定單元，具體用于：

根據(jù)預(yù)存的算子與網(wǎng)絡(luò)嵌入系數(shù)的對應(yīng)關(guān)系，確定每個深度學(xué)習(xí)算子對應(yīng)的網(wǎng)絡(luò)嵌入系數(shù)；

確定每個深度學(xué)習(xí)算子在所述電子設(shè)備運(yùn)行的時延與該深度學(xué)習(xí)算子對應(yīng)的網(wǎng)絡(luò)嵌入系數(shù)的乘積，并確定所有乘積的和值；

根據(jù)所述和值和時延一致性系數(shù)，確定所述時延損失函數(shù)。