[發明專利]神經網絡架構搜索系統和方法及計算機可讀記錄介質

在審

• 申請號: 202010021676.4
• 申請日: 2020-01-09
• 公開（公告）號: CN113095473A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 孫利;汪留安;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;杜誠

1.一種神經網絡架構搜索系統，包括：

搜索空間限定單元，被配置成限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，所述神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制單元，被配置成基于所述控制單元的參數，對所述搜索空間中的架構參數進行采樣，以生成子神經網絡架構；

訓練單元，被配置成使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及

獎勵反饋單元，被配置成根據所生成的子神經網絡架構的損失來評估所述控制單元的獎勵，并且朝向使得所述獎勵更大的方向調整所述控制單元的所述參數，

其中，迭代地進行所述控制單元、所述訓練單元以及所述獎勵反饋單元中的處理，直到滿足預定迭代終止條件為止。

2.根據權利要求1所述的神經網絡架構搜索系統，其中，所述搜索空間限定單元被配置成針對對象檢測來限定所述搜索空間。

3.根據權利要求2所述的神經網絡架構搜索系統，其中，

所述損失由和對象檢測相關的多個損失組成，并且所述多個損失包括對象分布損失、對象偏移損失和對象大小損失，以及

所述獎勵反饋單元被配置成基于所述對象分布損失、所述對象偏移損失和所述對象大小損失中的至少一個損失來調整所述控制單元的所述參數。

4.根據權利要求2所述的神經網絡架構搜索系統，其中，

所述損失由和對象檢測相關的多個損失組成，并且所述多個損失包括對象分布損失、對象偏移損失和對象大小損失，以及

所述獎勵反饋單元被配置成基于所述對象分布損失、所述對象偏移損失和所述對象大小損失三者來調整所述控制單元的所述參數，其中，所述對象分布損失、所述對象偏移損失和所述對象大小損失均與所述子神經網絡架構的輸出特征相關。

5.根據權利要求1所述的神經網絡架構搜索系統，其中，所述下采樣部分和所述上采樣部分分別包括多個層，并且所述控制單元通過采樣逐層得到所述下采樣部分和所述上采樣部分的每個層的架構參數。

6.根據權利要求1所述的神經網絡架構搜索系統，其中，所述下采樣部分和所述上采樣部分分別包括多個層，所述控制單元通過采樣得到所述下采樣部分的第一層和所述上采樣部分的第一層的架構參數，并且將所述下采樣部分的其他層的架構參數設置為與所述下采樣部分的第一層的架構參數相同以及將所述上采樣部分的其他層的架構參數設置為與所述上采樣部分的第一層的架構參數相同。

7.根據權利要求1所述的神經網絡架構搜索系統，其中，所述架構參數的集合包括3x3卷積、5x5卷積、3x3深度可分離卷積、5x5深度可分離卷積、3x3最大池化、3x3平均池化、恒等變換、3x3可變形卷積、3x3反卷積、5x5反卷積的任意組合。

8.根據權利要求1所述的神經網絡架構搜索系統，其中，所述初級處理部分是用于提取像素級初級視覺信息的多個卷積層。

9.一種神經網絡架構搜索方法，包括：

搜索空間限定步驟，限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，所述神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制步驟，基于控制單元的參數，對所述搜索空間中的架構參數進行采樣，以生成子神經網絡架構；

訓練步驟，使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及

獎勵反饋步驟，根據所生成的子神經網絡架構的損失來評估所述控制單元的獎勵，并且朝向使得所述獎勵更大的方向調整所述控制單元的所述參數，

其中，迭代地進行所述控制步驟、所述訓練步驟以及所述獎勵反饋步驟中的處理，直到滿足預定迭代終止條件為止。

10.一種記錄有程序的計算機可讀記錄介質，所述程序用于使得計算機執行以下步驟：

搜索空間限定步驟，限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，所述神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制步驟，基于控制單元的參數，對所述搜索空間中的架構參數進行采樣，以生成子神經網絡架構；

訓練步驟，使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及

獎勵反饋步驟，根據所生成的子神經網絡架構的損失來評估所述控制單元的獎勵，并且朝向使得所述獎勵更大的方向調整所述控制單元的所述參數，

其中，迭代地進行所述控制步驟、所述訓練步驟以及所述獎勵反饋步驟中的處理，直到滿足預定迭代終止條件為止。