[發(fā)明專利]神經架構搜索

在審

• 申請?zhí)枺?/td>: 201880075801.0
• 申請日: 2018-10-29
• 公開（公告）號: CN111406264A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設計）人: 巴雷特·佐福;關韻佳;休·希·范;國·V·勒
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種確定用于執(zhí)行特定神經網絡任務的神經網絡的架構的方法，所述方法包括：

使用具有多個控制器參數的控制器神經網絡并根據所述控制器參數的當前值生成輸出序列批次，所述批次中的每個輸出序列指定在大型神經網絡處理輸入期間應是活動的所述大型神經網絡的多個組件的相應子集，其中，所述大型神經網絡具有多個大型網絡參數；

對于所述批次中的每個輸出序列：

(i)根據所述大型網絡參數的當前值，并且(ii)在僅由該輸出序列指定的組件的子集是活動的情況下，確定所述大型神經網絡在所述特定神經網絡任務上的性能度量；以及

使用所述批次中的所述輸出序列的所述性能度量來調整所述控制器神經網絡的所述控制器參數的所述當前值。

2.根據權利要求1所述的方法，進一步包括：

使用所述控制器神經網絡并根據所述控制器參數的所調整的值生成新輸出序列；以及

在訓練數據上訓練僅由所述新輸出序列指定的組件的子集是活動的所述大型神經網絡，以確定所述大型網絡參數的所調整的值。

3.根據權利要求1或2中任一項所述的方法，其中，使用所述批次中的所述輸出序列的所述性能度量來調整所述控制器神經網絡的所述控制器參數的所述當前值包括：

使用強化學習技術訓練所述控制器神經網絡以生成具有增加的性能度量的輸出序列。

4.根據權利要求3所述的方法，其中，所述強化學習技術是策略梯度技術。

5.根據權利要求4所述的方法，其中，所述強化學習技術是REINFORCE技術。

6.根據前述權利要求中的任一項所述的方法，其中，所述大型神經網絡包括多個層。

7.根據前述權利要求中的任一項所述的方法，其中，在確定所述大型神經網絡的性能時，所述大型網絡參數的當前值是固定的。

8.根據前述權利要求中的任一項所述的方法，其中，所述控制器神經網絡是遞歸神經網絡，所述遞歸神經網絡被配置為針對給定輸出序列并且在多個時間步中的每個時間步：

接收在所述給定輸出序列中在先前時間步生成的輸出的嵌入作為輸入，并處理所述輸入以更新所述遞歸神經網絡的當前隱藏狀態(tài)，并生成所述時間步的可能輸出的得分分布。

9.根據前述權利要求中的任一項所述的方法，其中，每個輸出序列包括多個時間步中的每個時間步的相應輸出，其中，每個時間步對應于表示所述大型神經網絡的有向無環(huán)圖(DAG)中的相應節(jié)點，其中，所述DAG包括連接所述DAG中的節(jié)點的多個邊，并且其中，所述輸出序列針對每個節(jié)點定義由該節(jié)點接收的輸入和由該節(jié)點執(zhí)行的計算。

10.根據權利要求9所述的方法，其中，對于所述DAG中的多個節(jié)點中的每個特定節(jié)點，所述控制器神經網絡在與該節(jié)點對應的第一時間步處生成通過所述DAG中的傳入邊連接到所述特定節(jié)點的節(jié)點的概率分布。

11.根據權利要求9所述的方法，其中，對于所述DAG中的多個節(jié)點中的每個特定節(jié)點，所述控制器神經網絡在與該節(jié)點對應的第一時間步處為通過所述DAG中的傳入邊連接到所述特定節(jié)點的每個節(jié)點生成定義該邊將被指定為活動的可能性的相應的獨立概率。

12.根據權利要求9-11中的任一項所述的方法，對于所述DAG中的多個節(jié)點中的每個特定節(jié)點，所述控制器神經網絡在與該節(jié)點對應的第二時間步處生成由所述特定節(jié)點執(zhí)行的可能計算的概率分布。

13.根據前述權利要求中的任一項所述的方法，其中，所述大型神經網絡是遞歸神經網絡。

14.根據前述權利要求中的任一項所述的方法，其中，所述大型神經網絡是卷積神經網絡。