[發明專利]確定網絡的性能參數值的方法、裝置、設備及介質

在審

• 申請號: 202011639067.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112686321A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 張選楊
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 王婷婷

1.一種確定網絡的性能參數值的方法，其特征在于，所述方法包括：

將多個網絡模塊分別與原始網絡進行組合，得到所述原始網絡的多個子網絡，其中，一個網絡模塊用于實現一種類型的數據處理操作；

對所述多個子網絡交替訓練多次，以完成對所述原始網絡的訓練，其中，包括同一個網絡模塊的各個子網絡之間共享該個網絡模塊的參數；

針對所述多個子網絡中的任一子網絡，根據該子網絡包括的各個網絡模塊各自在所述原始網絡的訓練過程中的累積梯度值，確定該子網絡的性能參數值。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在所述原始網絡的訓練過程中，對所述多個網絡模塊各自在所述原始網絡的訓練過程中的累積梯度值進行統計，得到所述多個網絡模塊各自對應的累積梯度值序列；

針對所述多個子網絡中的任一子網絡，確定該子網絡的性能參數值，包括：

將該子網絡包括的每個網絡模塊對應的累積梯度值序列作為一行，以得到該子網絡的累積梯度值矩陣；

對該子網絡的累積梯度值矩陣進行處理，得到該子網絡的性能參數值。

3.根據權利要求2所述的方法，其特征在于，在所述原始網絡的訓練過程中，每一次訓練針對的子網絡為所述多個子網絡中的任一子網絡；所述方法還包括：

以每一次訓練針對的子網絡為目標子網絡，執行以下步驟：

利用訓練樣本，對所述目標子網絡進行訓練，得到所述目標子網絡包括的各個網絡模塊各自的梯度值；

利用所述目標子網絡包括的各個網絡模塊各自的梯度值，對所述多個網絡模塊中屬于所述目標子網絡的各個網絡模塊各自的累積梯度值進行更新；

在所述原始網絡的訓練過程中，得到所述多個網絡模塊中任一網絡模塊對應的累積梯度值序列，包括：

在所述原始網絡的訓練過程中，將該網絡模塊每次更新后的累積梯度值按照更新時間的先后順次排列，得到所述多個網絡模塊各自對應的累積梯度值序列。

4.根據權利要求1-3任一所述的方法，其特征在于，針對所述原始網絡中至少一組相鄰原始網絡模塊相連的邊，執行以下步驟：

為所述邊配置所述多個網絡模塊分別對應的候選操作數；

從所述多個網絡模塊分別對應的候選操作數中采樣所述邊的一個目標操作數；

在所述邊所連接的一組相鄰原始網絡模塊之間增加所述目標候選操作數對應的網絡模塊。

5.根據權利要求1-3任一所述的方法，其特征在于，在確定所述多個子網絡各自的性能參數值之后，所述方法還包括：

根據所述多個子網絡各自的性能參數值，將所述多個子網絡中的至少部分子網絡確定為搜索空間；

以最大性能參數值為搜索目標，對所述搜索空間進行搜索，得到下一次搜索的搜索空間；

在滿足預設搜索結束條件時，將搜索出的網絡確定為目標網絡。

6.根據權利要求5所述的方法，其特征在于，根據所述多個子網絡各自的性能參數值，將所述多個子網絡中的至少部分子網絡確定為搜索空間，包括：

將所述多個子網絡中性能參數值排序靠前的第一預設數量個子網絡確定為搜索空間；

以最大性能參數值為搜索目標，對所述搜索空間進行搜索，得到下一次搜索的搜索空間，包括：

從所述搜索空間中篩選性能參數值排序靠前的第二預設數量個子網絡；

將所述第二預設數量個子網絡確定為下一次搜索的搜索空間。

7.根據權利要求1-3任一所述的方法，其特征在于，在確定所述多個子網絡各自的性能參數值之后，所述方法還包括：

將所述多個子網絡中的至少部分子網絡作為初始化種群，確定所述初始化種群中各個子網絡各自的性能參數值；

從所述初始化種群中篩選性能參數值排序靠前的K個子網絡；

對所述K個子網絡進行交叉變異，得到新的種群，并確定新的種群中各個新網絡各自的性能參數值；

執行以下步驟多次：從所述新的種群中篩選性能參數值排序靠前的K個新網絡，對所述K個新網絡進行交叉變異，得到新的種群，并確定新的種群中各個新網絡各自的性能參數值，以得到目標網絡。