[發明專利]神經網絡架構搜索的方法及圖像分類的方法和裝置

在審

• 申請號: 202110641506.0
• 申請日: 2021-06-09
• 公開（公告）號: CN113344186A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 初祥祥;范裕達;王曉星;魏曉林
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種神經網絡架構搜索的方法，其特征在于，包括：

針對待生成神經網絡架構中的當前架構單元，根據搜索模型中包含的所述待生成神經網絡架構中每個其他架構單元與所述當前架構單元的連接關系對應的第一權重，從各其他架構單元中選擇與所述當前架構單元連接的第一目標單元；根據預設的搜索空間中包含的每個備選單元，以及所述搜索模型中包含的每個備選單元對應的第二權重，從各備選單元中選擇用于實現所述當前架構單元的第二目標單元；

根據針對所述待生成神經網絡架構中的每個架構單元選擇的第一目標單元和第二目標單元，生成神經網絡架構；

根據訓練樣本，預測生成的神經網絡架構的質量，并根據預測的所述質量確定所述搜索模型的損失；

以所述損失最小化為優化目標，訓練所述搜索模型，以至少對所述搜索模型中的第一權重和第二權重進行調整，直至滿足預設的訓練條件時，根據訓練完成的搜索模型中包含的第一權重和第二權重生成神經網絡架構。

2.如權利要求1所述的方法，其特征在于，從各其他架構單元中選擇與所述當前架構單元連接的第一目標單元，具體包括：

按照與所述當前架構單元的連接關系對應的第一權重從大到小的順序，在所述待生成神經網絡架構的各其他架構單元中，依次選擇至少一個其他架構單元，作為第一目標單元。

3.如權利要求1所述的方法，其特征在于，根據預設的搜索空間中包含的每個備選單元，以及所述搜索模型中包含的每個備選單元對應的第二權重，從各備選單元中選擇用于實現所述當前架構單元的第二目標單元，具體包括：

查詢預設的搜索空間中包含的每個備選單元；

針對每個備選單元，在所述搜索模型包含的各第二權重中，查詢在所述當前架構單元與所述第一目標單元連接的情況下，選擇該備選單元用于實現所述當前架構單元的第二權重，作為該備選單元對應的第二權重；

根據每個備選單元對應的第二權重，從各備選單元中選擇用于實現所述當前架構單元的第二目標單元。

4.如權利要求1所述的方法，其特征在于，從各備選單元中選擇用于實現所述當前架構單元的第二目標單元，具體包括：

針對每個備選單元，根據該備選單元對應的第二權重，確定選擇該備選單元用于實現所述當前架構單元的概率；其中，所述第二權重與所述概率正相關；

重復執行指定次數下述指定步驟：

根據選擇各備選單元的概率，從各備選單元中選擇用于實現所述當前架構單元的第二目標單元。

5.如權利要求4所述的方法，其特征在于，根據針對所述待生成神經網絡架構中的每個架構單元選擇的第一目標單元和第二目標單元，生成神經網絡架構，具體包括：

針對所述待生成神經網絡架構中的每個架構單元，以為該架構單元選擇的第一目標單元的輸出，作為該架構單元的輸入，連接為該架構單元選擇的第一目標單元與該架構單元；

針對每次執行的所述指定步驟，采用該次為所述待生成神經網絡架構中的各架構單元選擇的第二目標單元，實現所述待生成神經網絡架構中的各架構單元，得到該次執行所述指定步驟對應的神經網絡架構。

6.如權利要求5所述的方法，其特征在于，根據訓練樣本，預測生成的神經網絡架構的質量，并根據預測的所述質量確定所述搜索模型的損失，具體包括：

針對每次執行的指定步驟，根據訓練樣本，預測該次執行指定步驟對應的神經網絡架構的質量，并根據預測的所述質量確定該次執行指定步驟時所述搜索模型的損失；

確定每次執行指定步驟時所述搜索模型的損失的平均值，作為所述搜索模型的損失。

7.如權利要求5所述的方法，其特征在于，所述方法還包括：

針對每次執行的指定步驟，根據訓練樣本，確定該次執行指定步驟對應的神經網絡的損失；

針對每個第二目標單元，根據選擇該第二目標單元的各次指定步驟對應的神經網絡的損失的平均值，調整該第二目標單元中的模型參數。