[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)和方法及計(jì)算機(jī)可讀記錄介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010021676.4
• 申請(qǐng)日: 2020-01-09
• 公開（公告）號(hào): CN113095473A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 孫利;汪留安;孫俊
• 申請(qǐng)（專利權(quán)）人: 富士通株式會(huì)社
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王萍;杜誠(chéng)

1.一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，包括：

搜索空間限定單元，被配置成限定作為描述神經(jīng)網(wǎng)絡(luò)架構(gòu)的架構(gòu)參數(shù)的集合的搜索空間，其中，所述神經(jīng)網(wǎng)絡(luò)架構(gòu)包括固定的初級(jí)處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制單元，被配置成基于所述控制單元的參數(shù)，對(duì)所述搜索空間中的架構(gòu)參數(shù)進(jìn)行采樣，以生成子神經(jīng)網(wǎng)絡(luò)架構(gòu)；

訓(xùn)練單元，被配置成使用樣本圖像對(duì)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練，以計(jì)算所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失；以及

獎(jiǎng)勵(lì)反饋單元，被配置成根據(jù)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失來評(píng)估所述控制單元的獎(jiǎng)勵(lì)，并且朝向使得所述獎(jiǎng)勵(lì)更大的方向調(diào)整所述控制單元的所述參數(shù)，

其中，迭代地進(jìn)行所述控制單元、所述訓(xùn)練單元以及所述獎(jiǎng)勵(lì)反饋單元中的處理，直到滿足預(yù)定迭代終止條件為止。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，所述搜索空間限定單元被配置成針對(duì)對(duì)象檢測(cè)來限定所述搜索空間。

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，

所述損失由和對(duì)象檢測(cè)相關(guān)的多個(gè)損失組成，并且所述多個(gè)損失包括對(duì)象分布損失、對(duì)象偏移損失和對(duì)象大小損失，以及

所述獎(jiǎng)勵(lì)反饋單元被配置成基于所述對(duì)象分布損失、所述對(duì)象偏移損失和所述對(duì)象大小損失中的至少一個(gè)損失來調(diào)整所述控制單元的所述參數(shù)。

4.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，

所述損失由和對(duì)象檢測(cè)相關(guān)的多個(gè)損失組成，并且所述多個(gè)損失包括對(duì)象分布損失、對(duì)象偏移損失和對(duì)象大小損失，以及

所述獎(jiǎng)勵(lì)反饋單元被配置成基于所述對(duì)象分布損失、所述對(duì)象偏移損失和所述對(duì)象大小損失三者來調(diào)整所述控制單元的所述參數(shù)，其中，所述對(duì)象分布損失、所述對(duì)象偏移損失和所述對(duì)象大小損失均與所述子神經(jīng)網(wǎng)絡(luò)架構(gòu)的輸出特征相關(guān)。

5.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，所述下采樣部分和所述上采樣部分分別包括多個(gè)層，并且所述控制單元通過采樣逐層得到所述下采樣部分和所述上采樣部分的每個(gè)層的架構(gòu)參數(shù)。

6.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，所述下采樣部分和所述上采樣部分分別包括多個(gè)層，所述控制單元通過采樣得到所述下采樣部分的第一層和所述上采樣部分的第一層的架構(gòu)參數(shù)，并且將所述下采樣部分的其他層的架構(gòu)參數(shù)設(shè)置為與所述下采樣部分的第一層的架構(gòu)參數(shù)相同以及將所述上采樣部分的其他層的架構(gòu)參數(shù)設(shè)置為與所述上采樣部分的第一層的架構(gòu)參數(shù)相同。

7.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，所述架構(gòu)參數(shù)的集合包括3x3卷積、5x5卷積、3x3深度可分離卷積、5x5深度可分離卷積、3x3最大池化、3x3平均池化、恒等變換、3x3可變形卷積、3x3反卷積、5x5反卷積的任意組合。

8.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，其中，所述初級(jí)處理部分是用于提取像素級(jí)初級(jí)視覺信息的多個(gè)卷積層。

9.一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法，包括：

搜索空間限定步驟，限定作為描述神經(jīng)網(wǎng)絡(luò)架構(gòu)的架構(gòu)參數(shù)的集合的搜索空間，其中，所述神經(jīng)網(wǎng)絡(luò)架構(gòu)包括固定的初級(jí)處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制步驟，基于控制單元的參數(shù)，對(duì)所述搜索空間中的架構(gòu)參數(shù)進(jìn)行采樣，以生成子神經(jīng)網(wǎng)絡(luò)架構(gòu)；

訓(xùn)練步驟，使用樣本圖像對(duì)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練，以計(jì)算所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失；以及

獎(jiǎng)勵(lì)反饋步驟，根據(jù)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失來評(píng)估所述控制單元的獎(jiǎng)勵(lì)，并且朝向使得所述獎(jiǎng)勵(lì)更大的方向調(diào)整所述控制單元的所述參數(shù)，

其中，迭代地進(jìn)行所述控制步驟、所述訓(xùn)練步驟以及所述獎(jiǎng)勵(lì)反饋步驟中的處理，直到滿足預(yù)定迭代終止條件為止。

10.一種記錄有程序的計(jì)算機(jī)可讀記錄介質(zhì)，所述程序用于使得計(jì)算機(jī)執(zhí)行以下步驟：

搜索空間限定步驟，限定作為描述神經(jīng)網(wǎng)絡(luò)架構(gòu)的架構(gòu)參數(shù)的集合的搜索空間，其中，所述神經(jīng)網(wǎng)絡(luò)架構(gòu)包括固定的初級(jí)處理部分、能自由搜索的下采樣部分和能自由搜索的上采樣部分；

控制步驟，基于控制單元的參數(shù)，對(duì)所述搜索空間中的架構(gòu)參數(shù)進(jìn)行采樣，以生成子神經(jīng)網(wǎng)絡(luò)架構(gòu)；

訓(xùn)練步驟，使用樣本圖像對(duì)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練，以計(jì)算所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失；以及

獎(jiǎng)勵(lì)反饋步驟，根據(jù)所生成的子神經(jīng)網(wǎng)絡(luò)架構(gòu)的損失來評(píng)估所述控制單元的獎(jiǎng)勵(lì)，并且朝向使得所述獎(jiǎng)勵(lì)更大的方向調(diào)整所述控制單元的所述參數(shù)，

其中，迭代地進(jìn)行所述控制步驟、所述訓(xùn)練步驟以及所述獎(jiǎng)勵(lì)反饋步驟中的處理，直到滿足預(yù)定迭代終止條件為止。