[發明專利]正則化神經網絡架構搜索

在審

• 申請號: 201980008348.6
• 申請日: 2019-02-04
• 公開（公告）號: CN111602148A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 黃彥平;阿洛克·阿加爾瓦爾;國·V·勒;埃斯特班·阿爾貝托·瑞爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種方法，包括：

接收用于訓練神經網絡以執行機器學習任務的訓練數據，所述訓練數據包括多個訓練示例以及針對每個訓練示例的相應目標輸出；以及

使用所述訓練數據確定用于執行所述機器學習任務的優化的神經網絡架構，包括：

保持總體數據，針對候選架構的總體中的每個候選架構,所述總體數據包括(i)定義所述候選架構的數據以及(ii)指定在確定所述優化的神經網絡架構時最近如何訓練具有所述候選架構的神經網絡的數據，以及

使用均與每個其他工作器計算單元異步運行的多個工作器計算單元中的每一個來重復執行下述操作：

通過所述工作器計算單元，從所述總體中選擇多個候選架構，

針對每個選定的候選架構并且通過所述工作器計算單元，在所述訓練數據的訓練子集上訓練具有所述候選架構的新神經網絡以確定所述新神經網絡的參數的訓練值；

通過在所述訓練數據的驗證子集上評估經訓練的新神經網絡的性能，針對每個選定的候選架構并且通過所述工作器計算單元確定擬合度測度，

通過所述工作器計算單元，基于具有最佳擬合度測度的所選定的候選架構生成新的候選架構；

將所述新的候選架構添加到所述總體中，以及

從所述總體中移除最近被訓練最少的候選架構。

2.根據權利要求1所述的方法，進一步包括：

提供指定所述優化的架構的數據。

3.根據權利要求1或者2中的任意一項所述的方法，進一步包括：

確定具有所述優化的神經網絡架構的神經網絡的參數的訓練值。

4.根據權利要求3所述的方法，進一步包括：

提供指定訓練參數的所述數據。

5.根據權利要求3或者4中的任意一項所述的方法，所述操作進一步包括：

訓練所述新的候選架構以確定參數的訓練值；以及

將所述參數的訓練值與所述總體數據中的新候選架構相關聯。

6.根據權利要求5所述的方法，其中，確定具有所述優化的神經網絡架構的神經網絡的參數的訓練值包括：

選擇與關聯于所述最佳擬合度測度的架構相關聯的訓練值作為具有所述優化的神經網絡架構的所述神經網絡的參數的訓練值。

7.根據權利要求5所述的方法，其中，確定具有所述優化的神經網絡架構的神經網絡的參數的訓練值包括：

在更多訓練數據上進一步訓練具有所述優化的神經網絡架構的神經網絡以確定所述訓練值。

8.根據權利要求5-7中的任意一項所述的方法，其中，針對每個選定的候選架構并且通過所述工作器計算單元，在所述訓練數據的訓練子集上訓練具有所述候選架構的新神經網絡以確定所述新神經網絡的參數的訓練值包括：從與所述總體數據中的所述候選架構相關聯的所述值開始訓練所述新神經網絡。

9.根據權利要求1-8中的任意一項所述的方法，進一步包括：

利用多個默認候選架構來初始化所述總體。

10.根據權利要求1-9中的任意一項所述的方法，其中，針對每個候選架構，定義所述候選架構的數據標識一個或多個單元的架構，每個單元被重復多次以生成所述候選架構。

11.根據權利要求10所述的方法，其中，通過所述工作器計算單元基于所選定的具有所述最佳擬合度測度的候選架構來生成新的候選架構包括：

修改具有所述最佳擬合度測度的所述候選架構中的至少一個單元的所述架構。

12.根據權利要求11所述的方法，其中，修改單元的所述架構包括：

從突變集中隨機選擇突變；以及

將隨機選擇的突變應用于所述單元的所述架構。