[發(fā)明專利]網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估及評估模型生成方法、系統(tǒng)和裝置

有效

• 申請?zhí)枺?/td>: 201910859244.8
• 申請日: 2019-09-11
• 公開（公告）號: CN110738318B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 張剛;溫圣召;希滕
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N20/00
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理有限公司 11412
• 代理人: 田宏賓

本申請公開了網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估及評估模型生成方法、系統(tǒng)和裝置，其中網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估方法可包括：對待處理的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行拆解，得到構(gòu)成網(wǎng)絡(luò)結(jié)構(gòu)的各神經(jīng)元；針對每個神經(jīng)元，分別基于該神經(jīng)元的參數(shù)及預(yù)先訓(xùn)練得到的評估模型，確定出該神經(jīng)元的運(yùn)行時間；根據(jù)各神經(jīng)元的運(yùn)行時間確定出網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。應(yīng)用本申請所述方案，能夠提高評估結(jié)果的準(zhǔn)確性等。

【技術(shù)領(lǐng)域】

本申請涉及深度學(xué)習(xí)領(lǐng)域，特別涉及網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估及評估模型生成方法、系統(tǒng)和裝置。

【背景技術(shù)】

目前，深度學(xué)習(xí)技術(shù)在很多方向上都取得了巨大的成功。在深度學(xué)習(xí)技術(shù)中，網(wǎng)絡(luò)結(jié)構(gòu)(即神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu))的好壞對于模型的效果有著非常重要的影響，手工設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)需要非常豐富的經(jīng)驗(yàn)及眾多嘗試，并且眾多參數(shù)會產(chǎn)生爆炸性的組合，難于實(shí)現(xiàn)，因此近年來神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)(NAS，Neural?Architecture?Search)成為研究熱點(diǎn)。

NAS是用算法代替繁瑣的人工操作，自動搜索出最佳的網(wǎng)絡(luò)結(jié)構(gòu)，NAS的實(shí)現(xiàn)主要包括搜索空間定義、搜索策略和搜索目標(biāo)評估等關(guān)鍵要素。

搜索目標(biāo)評估是指在搜索的過程中，如何評估搜索到的一個網(wǎng)絡(luò)結(jié)構(gòu)的好壞，如評估網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。目前，通常采用以下方式來評估網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間：確定搜索到的網(wǎng)絡(luò)結(jié)構(gòu)的計算復(fù)雜度，根據(jù)計算復(fù)雜度來評估網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。但是，網(wǎng)絡(luò)結(jié)構(gòu)的計算復(fù)雜度和網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)際運(yùn)行時間往往存在較大的偏差，因此通過這種方式得到的評估結(jié)果會很不準(zhǔn)確。

【發(fā)明內(nèi)容】

有鑒于此，本申請?zhí)峁┝司W(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估及評估模型生成方法、系統(tǒng)和裝置。

具體技術(shù)方案如下：

一種網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行時間評估方法，包括：

對待處理的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行拆解，得到構(gòu)成所述網(wǎng)絡(luò)結(jié)構(gòu)的各神經(jīng)元；

針對每個神經(jīng)元，分別基于所述神經(jīng)元的參數(shù)及預(yù)先訓(xùn)練得到的評估模型，確定出所述神經(jīng)元的運(yùn)行時間；

根據(jù)各神經(jīng)元的運(yùn)行時間確定出所述網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。

根據(jù)本申請一優(yōu)選實(shí)施例，所述評估模型的數(shù)量為一個或大于一個；

當(dāng)所述評估模型的數(shù)量大于一個時，所述基于所述神經(jīng)元的參數(shù)及預(yù)先訓(xùn)練得到的評估模型，確定出所述神經(jīng)元的運(yùn)行時間包括：

將所述神經(jīng)元的參數(shù)分別輸入各評估模型，得到各評估模型評估出的所述神經(jīng)元的運(yùn)行時間，融合得到的各運(yùn)行時間確定出所述神經(jīng)元的運(yùn)行時間。

根據(jù)本申請一優(yōu)選實(shí)施例，所述融合得到的各運(yùn)行時間確定出所述神經(jīng)元的運(yùn)行時間包括：計算得到的各運(yùn)行時間的均值，將所述均值作為所述神經(jīng)元的運(yùn)行時間。

根據(jù)本申請一優(yōu)選實(shí)施例，所述根據(jù)各神經(jīng)元的運(yùn)行時間確定出所述網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間包括：將各神經(jīng)元的運(yùn)行時間相加，將相加之和作為所述網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。

一種評估模型生成方法，包括：

從預(yù)定范圍內(nèi)的神經(jīng)元中選出部分神經(jīng)元；

針對選出的每個神經(jīng)元，分別構(gòu)建所述神經(jīng)元對應(yīng)的訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)中包含所述神經(jīng)元的參數(shù)及所述神經(jīng)元的運(yùn)行時間；

根據(jù)所述訓(xùn)練數(shù)據(jù)訓(xùn)練得到評估模型，以便當(dāng)需要對待處理的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行運(yùn)行時間評估時，利用所述評估模型及神經(jīng)元的參數(shù)分別確定出構(gòu)成所述網(wǎng)絡(luò)結(jié)構(gòu)的各神經(jīng)元的運(yùn)行時間，根據(jù)各神經(jīng)元的運(yùn)行時間確定出所述網(wǎng)絡(luò)結(jié)構(gòu)的運(yùn)行時間。

根據(jù)本申請一優(yōu)選實(shí)施例，所述從預(yù)定范圍內(nèi)的神經(jīng)元中選出部分神經(jīng)元包括：從搜索空間中所有可能的神經(jīng)元中隨機(jī)選出部分神經(jīng)元。