[發明專利]神經網絡架構搜索系統和方法及計算機可讀記錄介質

在審

• 申請號: 202010021676.4
• 申請日: 2020-01-09
• 公開（公告）號: CN113095473A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 孫利;汪留安;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;杜誠

公開了一種神經網絡架構搜索系統和方法及計算機可讀記錄介質。神經網絡架構搜索系統包括：搜索空間限定單元，限定作為描述神經網絡架構的架構參數的集合的搜索空間，神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；控制單元，基于控制單元的參數，對搜索空間中的架構參數進行采樣，以生成子神經網絡架構；訓練單元，使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及獎勵反饋單元，根據所生成的子神經網絡架構的損失來評估控制單元的獎勵，并且朝向使得獎勵更大的方向調整控制單元的參數，其中，迭代地進行上述單元中的處理，直到滿足預定迭代終止條件為止。

技術領域

本公開涉及信息處理領域，具體涉及一種神經網絡架構搜索系統和方法及計算機可讀記錄介質。

背景技術

現有技術中的神經網絡是人工設計的，因此需要較多資源或者需要許多專業的工程師來完成神經網絡的設計。作為示例，現有技術中的用于對象檢測的卷積神經網絡是人工設計的，因此需要較多資源或者需要許多專業的工程師來完成卷積神經網絡的設計。

發明內容

在下文中給出了關于本公開的簡要概述，以便提供關于本公開的某些方面的基本理解。但是，應當理解，這個概述并不是關于本公開的窮舉性概述。它并不是意圖用來確定本公開的關鍵性部分或重要部分，也不是意圖用來限定本公開的范圍。其目的僅僅是以簡化的形式給出關于本公開的某些概念，以此作為稍后給出的更詳細描述的前序。

鑒于以上問題，本公開的目的是提供能夠解決現有技術中的一個或多個缺點的神經網絡架構搜索系統和方法。

根據本公開的一方面，提供了一種神經網絡架構搜索系統，該系統包括：搜索空間限定單元，可以被配置成限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；控制單元，可以被配置成基于控制單元的參數，對搜索空間中的架構參數進行采樣，以生成子神經網絡架構；訓練單元，可以被配置成使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及獎勵反饋單元，可以被配置成根據所生成的子神經網絡架構的損失來評估控制單元的獎勵，并且朝向使得獎勵更大的方向調整控制單元的參數，其中，迭代地進行控制單元、訓練單元以及獎勵反饋單元中的處理，直到滿足預定迭代終止條件為止。

根據本公開的另一方面，提供了一種神經網絡架構搜索方法，該方法包括：搜索空間限定步驟，限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；控制步驟，基于控制單元的參數，對搜索空間中的架構參數進行采樣，以生成子神經網絡架構；訓練步驟，使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及獎勵反饋步驟，根據所生成的子神經網絡架構的損失來評估控制單元的獎勵，并且朝向使得獎勵更大的方向調整控制單元的參數，其中，迭代地進行控制步驟、訓練步驟以及獎勵反饋步驟中的處理，直到滿足預定迭代終止條件為止。

根據本公開的又一方面，提供了一種記錄有程序的計算機可讀記錄介質，所述程序用于使得計算機執行以下步驟：搜索空間限定步驟，限定作為描述神經網絡架構的架構參數的集合的搜索空間，其中，神經網絡架構包括固定的初級處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；控制步驟，基于控制單元的參數，對搜索空間中的架構參數進行采樣，以生成子神經網絡架構；訓練步驟，使用樣本圖像對所生成的子神經網絡架構進行訓練，以計算所生成的子神經網絡架構的損失；以及獎勵反饋步驟，根據所生成的子神經網絡架構的損失來評估控制單元的獎勵，并且朝向使得獎勵更大的方向調整控制單元的參數，其中，迭代地進行控制步驟、訓練步驟以及獎勵反饋步驟中的處理，直到滿足預定迭代終止條件為止。

根據本公開的其它方面，還提供了用于實現上述根據本公開的方法的計算機程序代碼和計算機程序產品。