[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)構(gòu)建方法以及裝置

在審

• 申請?zhí)枺?/td>: 202011131423.9
• 申請日: 2020-10-21
• 公開（公告）號: CN112418392A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 韓凱;王云鶴;張秋林;張維;許春景;錢莉
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/063;G06K9/62
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 陳松浩

1.一種神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，其特征在于，包括：

從預(yù)設(shè)的搜索空間中采樣得到至少一組第一參數(shù)組合，所述搜索空間中包括構(gòu)建神經(jīng)網(wǎng)絡(luò)時使用的多種參數(shù)的取值范圍，所述至少一組第一參數(shù)組合中的每個第一參數(shù)組合包括所述多種參數(shù)中的每一種參數(shù)的值；

根據(jù)所述至少一組第一參數(shù)組合構(gòu)建多個第一神經(jīng)網(wǎng)絡(luò)；

獲取約束范圍，所述約束范圍包括標(biāo)識計算裝置的計算能力的數(shù)值范圍；

根據(jù)映射關(guān)系，得到和所述約束范圍對應(yīng)的第二參數(shù)組合，所述映射關(guān)系包括所述至少一組參數(shù)組合和所述多個第一神經(jīng)網(wǎng)絡(luò)的評估結(jié)果之間的關(guān)系，所述評估結(jié)果為對所述多個第一神經(jīng)網(wǎng)絡(luò)中的每個第一神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行評估得到的結(jié)果；

根據(jù)所述第二參數(shù)組合得到目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

使用預(yù)設(shè)的第一數(shù)據(jù)集訓(xùn)練所述多個第一神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的多個第一神經(jīng)網(wǎng)絡(luò)；

根據(jù)訓(xùn)練后的所述多個第一神經(jīng)網(wǎng)絡(luò)中的每個第一神經(jīng)網(wǎng)絡(luò)的評估結(jié)果或訓(xùn)練后的所述每個訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)的輸出精度，從所述多個第一神經(jīng)網(wǎng)絡(luò)中篩選出至少一個第二神經(jīng)網(wǎng)絡(luò)；

所述映射關(guān)系包括所述至少一個第二神經(jīng)網(wǎng)絡(luò)中每個第二神經(jīng)網(wǎng)絡(luò)的對應(yīng)的參數(shù)組合和所述每個第二神經(jīng)網(wǎng)絡(luò)的評估結(jié)果之間的關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，

所述映射關(guān)系通過對所述至少一個第二神經(jīng)網(wǎng)絡(luò)中每個第二神經(jīng)網(wǎng)絡(luò)的對應(yīng)的參數(shù)組合和所述每個第二神經(jīng)網(wǎng)絡(luò)的評估結(jié)果之間的關(guān)系進(jìn)行擬合得到。

4.根據(jù)權(quán)利要求1-3中任一項所述的方法，其特征在于，所述搜索空間中包括的參數(shù)包括以下一種或者多種：

寬度、深度、分辨率或卷積核的大小，所述寬度為神經(jīng)網(wǎng)絡(luò)中每一層網(wǎng)絡(luò)所包括的基礎(chǔ)單元的數(shù)量，所述深度為神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層的層數(shù)，所述分辨率為輸入至神經(jīng)網(wǎng)絡(luò)的圖像的分辨率。

5.根據(jù)權(quán)利要求1-4中任一項所述的方法，其特征在于，所述評估結(jié)果包括：

所述每個第一神經(jīng)網(wǎng)絡(luò)的總浮點運算次數(shù)flops、所述每個第一神經(jīng)網(wǎng)絡(luò)的正向推理的運行時長、運行所述每個第一神經(jīng)網(wǎng)絡(luò)占用的內(nèi)存量、或者所述每個第一神經(jīng)網(wǎng)絡(luò)的參數(shù)量中的一項或者多項。

6.根據(jù)權(quán)利要求1-5中任一項所述的方法，其特征在于，所述獲取約束范圍，包括：

接收用戶輸入數(shù)據(jù)，并根據(jù)所述用戶輸入數(shù)據(jù)獲取所述約束范圍。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述用戶輸入數(shù)據(jù)獲取所述約束范圍，包括：

從所述用戶輸入數(shù)據(jù)中獲取所述計算裝置的標(biāo)識信息；

根據(jù)所述計算裝置的標(biāo)識信息獲取所述約束范圍。

8.根據(jù)權(quán)利要求1-7中任一項所述的方法，其特征在于，所述方法還包括：

使用預(yù)設(shè)的第二數(shù)據(jù)集對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的所述目標(biāo)神經(jīng)網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求1-8中任一項所述的方法，其特征在于，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)用于進(jìn)行特征提取、語義分割、分類任務(wù)、超分辨率或者目標(biāo)檢測中的至少一種。