[發明專利]超網絡的訓練方法和裝置

在審

• 申請號: 202010567105.0
• 申請日: 2020-06-19
• 公開（公告）號: CN111738418A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種超網絡的訓練方法，包括：

構建超網絡的搜索空間并初始化超網絡；

執行如下迭代訓練操作：

采用超網絡采樣器對當前的超網絡的搜索空間進行修剪，并基于修剪后的當前的超網絡的搜索空間采樣出用于訓練的第一子網絡；

采用樣本媒體數據訓練所述第一子網絡，基于訓練后的所述第一子網絡的參數更新所述超網絡，并對迭代計數器的計數值加1；

響應于確定所述迭代計數器的計數值達到預設的計數閾值，基于更新后的超網絡以及所述修剪后的當前的超網絡的搜索空間確定用于評測的第二子網絡，測試所述第二子網絡的性能；

根據所述第二子網絡的性能更新所述超網絡采樣器，響應于確定所述超網絡未達到預設的收斂條件，基于更新后的超網絡采樣器執行所述迭代訓練操作。

2.根據權利要求1所述的方法，其中，所述迭代訓練操作還包括：

測試所述第二子網絡的性能之后，響應于確定所述超網絡未達到預設的收斂條件，將迭代計數器的計數值重置為0。

3.根據權利要求1或2所述的方法，其中，所述迭代訓練操作還包括：當所述迭代計數器的計數值未達到預設的計數閾值時，重復執行如下訓練步驟直到迭代計數器的計數值達到預設的計數閾值：

采用所述超網絡采樣器重新采樣出用于訓練的第三子網絡，并采用樣本媒體數據訓練所述第三子網絡，基于訓練后的所述第三子網絡的參數更新所述超網絡，對迭代計數器的計數值加1。

4.根據權利要求1或2所述的方法，其中，所述方法還包括：

獲取預設的評測用子網絡結構；

所述采用超網絡采樣器對當前的超網絡的搜索空間進行修剪，包括：

采用超網絡采樣器，基于預設的結構約束條件對當前的超網絡的搜索空間進行修剪，其中，預設的結構約束條件包括：修剪后的超網絡的搜索空間包含所述評測用子網絡結構。

5.根據權利要求4所述的方法，其中，所述基于更新后的超網絡以及所述修剪后的當前的超網絡的搜索空間確定用于評測的第二子網絡，包括：

將評測用子網絡結構確定為第二子網絡的結構，基于更新后的超網絡確定所述第二子網絡的參數。

6.根據權利要求1或2所述的方法，其中，所述方法還包括：

獲取預設的評測用子網絡結構；

所述基于更新后的超網絡以及所述修剪后的當前的超網絡的搜索空間確定用于評測的第二子網絡，包括：

將所述預設的評測用子網絡結構中，包含在所述修剪后的當前的超網絡的搜索空間內的子網絡結構確定為第二子網絡的結構；

基于所述更新后的超網絡確定所述第二子網絡的參數。

7.根據權利要求1或2所述的方法，其中，所述基于更新后的超網絡以及所述修剪后的當前的超網絡的搜索空間確定用于評測的第二子網絡，包括：

基于更新后的超網絡，從所述修剪后的當前的超網絡的搜索空間中采樣出用于評測的第二子網絡。

8.根據權利要求1或2所述的方法，其中，所述方法還包括：

基于達到所述預設的收斂條件的超網絡，通過執行模型結構搜索操作確定出用于執行媒體數據處理任務的神經網絡模型；

其中，所述模型結構搜索操作包括從所述達到所述預設的收斂條件的超網絡采樣出子網絡，并測試采樣出的子網絡的性能，根據各采樣出的子網絡的性能的排序確定出用于執行媒體數據處理任務的神經網絡模型。