[發明專利]確定神經網絡的方法和裝置

在審

• 申請號: 201911090334.1
• 申請日: 2019-11-08
• 公開（公告）號: CN112784954A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 徐航;李震國;張維;梁小丹;江宸瀚
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 陳洪艷;王君

1.一種確定神經網絡的方法，其特征在于，包括：

獲取多個初始搜索空間，所述初始搜索空間包括一個或多個神經網絡，任意兩個所述初始搜索空間中的神經網絡的功能不同，同一個所述初始搜索空間中的任意兩個神經網絡的功能相同且網絡結構不同；

根據所述多個初始搜索空間確定M個候選神經網絡，所述候選神經網絡包括多個候選子網絡，所述多個候選子網絡屬于所述多個初始搜索空間，且所述多個候選子網絡中任意兩個候選子網絡所屬的初始搜索空間不同，M為正整數；

對所述M個候選神經網絡進行評估，得到M個評估結果；

根據所述M個評估結果和所述M個候選神經網絡，確定N個第一目標神經網絡，所述第一目標神經網絡包括多個目標子網絡，所述N個第一目標神經網絡與所述M個候選神經網絡中的N個候選神經網絡一一對應，所述N個第一目標神經網絡中第i個第一目標神經網絡所包括的多個目標子網絡與所述N個候選神經網絡中第i個候選神經網絡所包括的多個候選子網絡一一對應，所述第i個第一目標神經網絡所包括的多個目標子網絡中的每個目標子網絡所包括的塊與所述第i個候選神經網絡所包括的多個候選子網絡中對應的候選子網絡所包括的塊相同，N為小于或等于M的正整數，i為小于或等于N的正整數。

2.如權利要求1所述的方法，其特征在于，所述候選神經網絡的評估結果包括以下一種或多種：運行速度，精度、參數量或浮點運算次數。

3.如權利要求2所述的方法，其特征在于，所述候選神經網絡的評估結果包括運行速度和精度；

其中，所述根據所述M個評估結果和所述M個候選神經網絡，確定N個第一目標神經網絡，包括：

根據所述M個評估結果，從所述M個候選神經網絡中確定所述N個候選神經網絡，所述N個候選神經網絡為以運行速度和精度為目標時，所述M個候選神經網絡的帕累托最優解；

根據所述N個候選神經網絡確定所述N個第一目標神經網絡。

4.如權利要求3所述的方法，其特征在于，所述根據所述N個候選神經網絡確定所述N個第一目標神經網絡，包括：

根據所述第i個候選神經網絡的多個候選子網絡確定多個目標搜索空間，所述多個目標搜索空間與所述第i個候選神經網絡的多個候選子網絡一一對應，所述多個目標搜索空間中的每個目標搜索空間包括一個或多個神經網絡，所述每個目標搜索空間中的每個神經網絡所包括的塊與所述每個目標搜索空間對應的候選子網絡所包括的塊相同；

根據所述多個目標搜索空間確定所述第i個第一目標神經網絡，所述第i個第一目標神經網絡中的多個目標子網絡屬于所述多個目標搜索空間，且所述第i個第一目標神經網絡的多個目標子網絡中任意兩個目標子網絡所屬的目標搜索空間不同。

5.如權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

根據所述N個第一目標神經網絡確定N個第二目標神經網絡，其中，所述N個第二目標神經網絡中的第i個第二目標神經網絡為所述第i個第一目標神經網絡經過如下一項或多種處理得到的：在所述第i個第一目標神經網絡的目標子網絡中的卷積層之后添加組合正則化層，在所述第i個第一目標神經網絡的目標子網絡中的全連接層之后添加組合正則化層，對所述第i個第一目標神經網絡的目標子網絡中的卷積層的權重進行歸一化處理。

6.如權利要求5所述的方法，其特征在于，所述方法還包括：

對所述N個第二目標神經網絡進行評估，得到所述N個第二目標神經網絡的評估結果。

7.如權利要求6所述的方法，其特征在于，所述對所述N個第二目標神經網絡進行評估，得到所述N個第二目標神經網絡的評估結果，包括：

隨機初始化所述第i個第二目標神經網絡中的網絡參數；

根據訓練數據對所述第i個第二目標神經網絡進行訓練；

根據測試數據對訓練后的所述第i個第二目標神經網絡進行測試，以得到訓練后的所述第i個第二目標神經網絡的評估結果。