[發(fā)明專利]確定模型結(jié)構(gòu)的方法、裝置和電子系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010465831.1
• 申請日: 2020-05-27
• 公開（公告）號: CN111797973A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 梁玉鼎;張祥雨;危夷晨
• 申請（專利權(quán)）人: 北京邁格威科技有限公司;內(nèi)蒙古曠視金智科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本發(fā)明提供了一種確定模型結(jié)構(gòu)的方法、裝置和電子系統(tǒng)，首先，針對超網(wǎng)絡(luò)中的每層網(wǎng)絡(luò)層，提取當(dāng)前網(wǎng)絡(luò)層的網(wǎng)絡(luò)層參數(shù)；然后，基于該網(wǎng)絡(luò)層參數(shù)，確定當(dāng)前網(wǎng)絡(luò)層中每個待選項的概率值；進(jìn)而從當(dāng)前網(wǎng)絡(luò)層中的至少一個待選項中，確定當(dāng)前網(wǎng)絡(luò)層的目標(biāo)待選項；最后，根據(jù)每層網(wǎng)絡(luò)層的目標(biāo)待選項，對超網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從訓(xùn)練后的超網(wǎng)絡(luò)中確定模型結(jié)構(gòu)。該方法根據(jù)每層網(wǎng)絡(luò)層的網(wǎng)絡(luò)層參數(shù)，確定該網(wǎng)絡(luò)層中每個待選項的概率值，性能越好的待選項，其對應(yīng)的概率值也較大，被采樣的概率也較大，從而在對超網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，不斷提高高性能路徑被采樣的可能性，提高搜索性能，進(jìn)而確定最優(yōu)的模型結(jié)構(gòu)。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其是涉及一種確定模型結(jié)構(gòu)的方法、裝置和電子系統(tǒng)。

背景技術(shù)

在深度學(xué)習(xí)中，可以通過模型搜索的方式確定模型結(jié)構(gòu)，模型搜索通常需要消耗大量的計算資源。為了減少模型搜索的資源消耗，在一些模型搜索方法中，通常不再對完整的超網(wǎng)絡(luò)直接進(jìn)行訓(xùn)練，而是在訓(xùn)練過程中，每次采樣一條路徑進(jìn)行訓(xùn)練，這樣每次僅需要訓(xùn)練超網(wǎng)絡(luò)的一部分，可以節(jié)省大量的計算資源；但是，對路徑的采樣通常為隨機(jī)采樣，或者嚴(yán)格保證所有路徑的被采樣次數(shù)一樣，這些采樣方式難以區(qū)分各個路徑的性能的優(yōu)劣，導(dǎo)致難以得到最優(yōu)的模型結(jié)構(gòu)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種確定模型結(jié)構(gòu)的方法、裝置和電子系統(tǒng)，以區(qū)分各個采樣路徑的性能的優(yōu)劣，獲取最優(yōu)的模型結(jié)構(gòu)。

第一方面，本發(fā)明提供的一種確定模型結(jié)構(gòu)的方法，預(yù)設(shè)超網(wǎng)絡(luò)包括順序排列的多層網(wǎng)絡(luò)層；每層所述網(wǎng)絡(luò)層包括至少一個待選項，所述方法包括：針對所述超網(wǎng)絡(luò)中的每層網(wǎng)絡(luò)層，提取當(dāng)前網(wǎng)絡(luò)層的網(wǎng)絡(luò)層參數(shù)；其中，所述網(wǎng)絡(luò)層參數(shù)包括第一參數(shù)，所述第一參數(shù)基于所述當(dāng)前網(wǎng)絡(luò)層中所述至少一個待選項確定；如果所述當(dāng)前網(wǎng)絡(luò)層存在前一層網(wǎng)絡(luò)層，所述網(wǎng)絡(luò)層參數(shù)還包括第二參數(shù)，所述第二參數(shù)基于所述前一層網(wǎng)絡(luò)層的已選的目標(biāo)待選項確定；基于所述當(dāng)前網(wǎng)絡(luò)層的網(wǎng)絡(luò)層參數(shù)，確定所述當(dāng)前網(wǎng)絡(luò)層中每個所述待選項的概率值；基于所述概率值，從所述當(dāng)前網(wǎng)絡(luò)層中的所述至少一個待選項中，確定所述當(dāng)前網(wǎng)絡(luò)層的目標(biāo)待選項；根據(jù)每層所述網(wǎng)絡(luò)層的目標(biāo)待選項，對所述超網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從訓(xùn)練后的所述超網(wǎng)絡(luò)中確定模型結(jié)構(gòu)。

進(jìn)一步的，所述第一參數(shù)具體通過以下方式確定：獲取所述超網(wǎng)絡(luò)中的各個網(wǎng)絡(luò)層中的待選項所包含卷積核的卷積類別；基于所述卷積類別，確定所述當(dāng)前網(wǎng)絡(luò)層的第一參數(shù)。

進(jìn)一步的，基于所述卷積類別，確定所述當(dāng)前網(wǎng)絡(luò)層的第一參數(shù)的步驟包括：獲取所述超網(wǎng)絡(luò)中的各個網(wǎng)絡(luò)層中的待選項所包含卷積核的最大卷積尺寸；將所述超網(wǎng)絡(luò)中，每層所述網(wǎng)絡(luò)層中的待選項所包含的卷積核的尺寸擴(kuò)張至所述最大卷積尺寸；針對每類所述卷積類別，在所述當(dāng)前網(wǎng)絡(luò)層的擴(kuò)張后的待選項中，對屬于該卷積類別的卷積核的相同行列位置的參數(shù)進(jìn)行加和，得到該卷積類別對應(yīng)的參數(shù)張量；將所述參數(shù)張量轉(zhuǎn)換為該類卷積類別對應(yīng)的一維參數(shù)向量；通過第一全連接層，分別對每類所述卷積類別對應(yīng)的一維參數(shù)向量進(jìn)行全連接計算，得到所述當(dāng)前網(wǎng)絡(luò)層的第一參數(shù)。

進(jìn)一步的，通過第一全連接層，分別對每類所述卷積類別對應(yīng)的一維參數(shù)向量進(jìn)行全連接計算，得到所述當(dāng)前網(wǎng)絡(luò)層的第一參數(shù)的步驟包括：通過所述第一全連接層，分別對每類所述卷積類別對應(yīng)的一維參數(shù)向量進(jìn)行全連接計算，得到每類所述卷積類別對應(yīng)的第一計算結(jié)果；對每類所述卷積類別對應(yīng)第一計算結(jié)果進(jìn)行拼接，得到所述當(dāng)前網(wǎng)絡(luò)層的第一參數(shù)。

進(jìn)一步的，如果所述當(dāng)前網(wǎng)絡(luò)層存在前一層網(wǎng)絡(luò)層，所述第二參數(shù)具體通過以下方式確定：獲取預(yù)設(shè)的特征向量表；所述特征向量表中包括：所述至少一個待選項中，每個所述待選項分別對應(yīng)的特征向量；從所述特征向量表中，提取所述前一層網(wǎng)絡(luò)層的已選的目標(biāo)待選項對應(yīng)的特征向量，將提取出的特征向量確定為所述第二參數(shù)。