[發明專利]超網絡的訓練方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110080416.9
• 申請日: 2021-01-21
• 公開（公告）號: CN112784961A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62;G06K9/34
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 王姍姍;金愛靜

1.一種超網絡的訓練方法，包括：

基于預設超網絡進行N次迭代操作，得到目標超網絡；其中，N為大于等于2的整數；

其中，所述N次迭代操作中的第i次迭代操作，包括：

利用第i-1個概率模型，在使用第i-1組超網絡參數的預設超網絡的搜索空間中選取m個子網絡；其中，i為小于等于N的正整數，m為正整數；

基于所述第i-1組超網絡參數對所述m個子網絡進行評估，得到所述m個子網絡的性能信息；

基于所述m個子網絡的性能信息，得到第i個概率模型；

基于所述第i-1個概率模型的超參數與所述第i個概率模型的超參數之間的互信息，得到第i組超網絡參數；

在i等于預設閾值N的情況下，將使用所述第i組超網絡參數的預設超網絡作為所述目標超網絡。

2.根據權利要求1所述的方法，其中，所述利用第i-1個概率模型，在使用第i-1組超網絡參數的預設超網絡的搜索空間中選取m個子網絡，包括：

利用第i-1個概率模型，在所述使用第i-1組超網絡參數的預設超網絡的搜索空間中選取使得信息熵最大化的m個子網絡。

3.根據權利要求1所述的方法，其中，所述基于所述m個子網絡的性能信息，得到第i個概率模型，包括：

基于所述m個子網絡的性能信息進行最大似然估計，得到第i組概率模型超參數；

基于所述第i組概率模型超參數，得到所述第i個概率模型。

4.根據權利要求1所述的方法，其中，所述基于所述第i-1個概率模型的超參數與所述第i個概率模型的超參數之間的互信息，得到第i組超網絡參數，包括：

將所述第i-1個概率模型的超參數與所述第i個概率模型的超參數之間的互信息的倒數作為損失函數；

基于所述損失函數對所述第i-1組超網絡參數進行更新，得到第i組超網絡參數。

5.根據權利要求1-4中任一項所述的方法，還包括：

利用第N個概率模型，在所述目標超網絡的搜索空間中選取k個子網絡；其中，k為正整數；

基于所述目標超網絡的超網絡參數對所述k個子網絡進行評估，得到所述k個子網絡的性能信息；

將所述k個子網絡的性能信息中的最大值所對應的子網絡，確定為目標子網絡。

6.根據權利要求5所述的方法，還包括：

獲取待處理圖像；

利用所述目標子網絡對所述待處理圖像進行處理，得到所述待處理圖像的圖像處理結果。

7.一種超網絡的訓練裝置，包括：

迭代模塊，用于基于預設超網絡進行N次迭代操作，得到目標超網絡；其中，N為大于等于2的整數；

其中，所述迭代模塊包括：

子網絡單元，用于利用第i-1個概率模型，在使用第i-1組超網絡參數的預設超網絡的搜索空間中選取m個子網絡；其中，i為小于等于N的正整數，m為正整數；

性能信息單元，用于基于所述第i-1組超網絡參數對所述m個子網絡進行評估，得到所述m個子網絡的性能信息；

概率模型單元，用于基于所述m個子網絡的性能信息，得到第i個概率模型；

超網絡參數單元，用于基于所述第i-1個概率模型的超參數與所述第i個概率模型的超參數之間的互信息，得到第i組超網絡參數；

目標超網絡單元，用于在i等于預設閾值N的情況下，將使用所述第i組超網絡參數的預設超網絡作為所述目標超網絡。

8.根據權利要求7所述的裝置，其中，所述性能信息單元用于：

利用第i-1個概率模型，在所述使用第i-1組超網絡參數的預設超網絡的搜索空間中選取使得信息熵最大化的m個子網絡。

9.根據權利要求7所述的裝置，其中，所述概率模型單元用于：

基于所述m個子網絡的性能信息進行最大似然估計，得到第i組概率模型超參數；

基于所述第i組概率模型超參數，得到所述第i個概率模型。