[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的評估、確定方法、裝置和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911059798.6
• 申請日: 2019-10-29
• 公開（公告）號: CN110929867A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計）人: 初祥祥;許瑞軍;張勃;李吉祥;李慶源
• 申請（專利權(quán)）人: 北京小米移動軟件有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 羊淑梅

1.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的評估方法，其特征在于，所述方法包括：

獲取子結(jié)構(gòu)與GPU時間的對應(yīng)關(guān)系，所述對應(yīng)關(guān)系用于指示超網(wǎng)絡(luò)中各個子結(jié)構(gòu)的GPU時間，所述超網(wǎng)絡(luò)包括多層搜索空間，每層所述搜索空間包括多個子結(jié)構(gòu)；

基于所述對應(yīng)關(guān)系，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)包括依次連接的多層結(jié)構(gòu)，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的每層結(jié)構(gòu)為對應(yīng)層的所述搜索空間中的一個子結(jié)構(gòu)；

基于所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行評估。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述對應(yīng)關(guān)系，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，包括：

在所述對應(yīng)關(guān)系中查找所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的每層結(jié)構(gòu)的GPU時間；

將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的所有層結(jié)構(gòu)的GPU時間相加，得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行評估，包括：

確定所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間是否小于時長閾值。

4.根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，在所述獲取子結(jié)構(gòu)與GPU時間的對應(yīng)關(guān)系之前，所述方法還包括：

從所述超網(wǎng)絡(luò)的每一層搜索空間中，分別選擇一個子結(jié)構(gòu)；

采用選擇出的子結(jié)構(gòu)建立神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)；

運行所述神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)并在所述神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)的運行過程中，獲取神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)中的子結(jié)構(gòu)的GPU時間；

重復(fù)上述步驟，直到得到所述超網(wǎng)絡(luò)中所有子結(jié)構(gòu)的GPU時間；

根據(jù)得到的所述GPU時間建立所述對應(yīng)關(guān)系。

5.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的確定方法，其特征在于，所述方法包括：

從超網(wǎng)絡(luò)中確定出多個采樣網(wǎng)絡(luò)，所述超網(wǎng)絡(luò)包括多層搜索空間，每層所述搜索空間包括多個子結(jié)構(gòu)，所述多個采樣網(wǎng)絡(luò)包括依次連接的多層結(jié)構(gòu)，所述采樣網(wǎng)絡(luò)的每層結(jié)構(gòu)為對應(yīng)層的所述搜索空間中的一個子結(jié)構(gòu)；

獲取子結(jié)構(gòu)與GPU時間的對應(yīng)關(guān)系，所述對應(yīng)關(guān)系用于指示所述超網(wǎng)絡(luò)中各個子結(jié)構(gòu)的GPU時間；

基于所述對應(yīng)關(guān)系，確定各個所述采樣網(wǎng)絡(luò)的GPU時間；

基于各個所述采樣網(wǎng)絡(luò)的GPU時間，從所述采樣網(wǎng)絡(luò)中選擇一個作為目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述對應(yīng)關(guān)系，確定各個所述采樣網(wǎng)絡(luò)的GPU時間，包括：

對于任意一個采樣網(wǎng)絡(luò)，在所述對應(yīng)關(guān)系中查找所述采樣網(wǎng)絡(luò)的每層結(jié)構(gòu)的GPU時間；

將所述采樣網(wǎng)絡(luò)的所有層結(jié)構(gòu)的GPU時間相加，得到所述采樣網(wǎng)絡(luò)的GPU時間。

7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，所述基于各個所述采樣網(wǎng)絡(luò)的GPU時間，從所述采樣網(wǎng)絡(luò)中選擇一個作為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括：

采用相同的樣本數(shù)據(jù)對各個所述采樣網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

確定訓(xùn)練后的采樣網(wǎng)絡(luò)的性能指標(biāo)；

基于所述訓(xùn)練后的采樣網(wǎng)絡(luò)的性能指標(biāo)和所述采樣網(wǎng)絡(luò)的GPU時間，從所述采樣網(wǎng)絡(luò)中選擇一個作為目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

8.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的評估裝置，其特征在于，所述裝置包括：

對應(yīng)關(guān)系獲取模塊，被配置為獲取子結(jié)構(gòu)與GPU時間的對應(yīng)關(guān)系，所述對應(yīng)關(guān)系用于指示超網(wǎng)絡(luò)中各個子結(jié)構(gòu)的GPU時間，所述超網(wǎng)絡(luò)包括多層搜索空間，每層所述搜索空間包括多個子結(jié)構(gòu)；

確定模塊，被配置為基于所述對應(yīng)關(guān)系獲取模塊獲取的所述對應(yīng)關(guān)系，確定目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)包括依次連接的多層結(jié)構(gòu)，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的每層結(jié)構(gòu)為對應(yīng)層的所述搜索空間中的一個子結(jié)構(gòu)；

評估模塊，被配置為基于所述確定模塊得到的所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的GPU時間，對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行評估。