[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搜索方法、圖像處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910834158.1
• 申請(qǐng)日: 2019-09-04
• 公開(kāi)（公告）號(hào): CN112445823A
• 公開(kāi)（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 陳醒濠;楊朝暉;王云鶴;許春景
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06N3/04
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 張振;王君

1.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搜索方法，其特征在于，包括：

根據(jù)目標(biāo)任務(wù)確定搜索網(wǎng)絡(luò)，所述搜索網(wǎng)絡(luò)包括結(jié)構(gòu)空間和參數(shù)空間，所述結(jié)構(gòu)空間包括多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)，所述參數(shù)空間包括多個(gè)參數(shù)，其中，每個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)所述參數(shù)空間中的至少一個(gè)參數(shù)；

根據(jù)目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)，對(duì)所述參數(shù)空間進(jìn)行更新，以獲取更新參數(shù)空間；

從所述搜索網(wǎng)絡(luò)中確定子網(wǎng)絡(luò)集合，所述子網(wǎng)絡(luò)集合包括所述多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)中的多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)；

對(duì)所述子網(wǎng)絡(luò)集合進(jìn)行更新，以獲取更新子網(wǎng)絡(luò)集合，所述更新子網(wǎng)絡(luò)集合包括所述多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)中的多個(gè)第二子網(wǎng)絡(luò)結(jié)構(gòu)；

根據(jù)所述更新參數(shù)空間和所述更新子網(wǎng)絡(luò)集合，確定與所述目標(biāo)任務(wù)對(duì)應(yīng)的多個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的搜索方法，其特征在于，所述根據(jù)目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)，對(duì)所述參數(shù)空間進(jìn)行更新，以獲取更新參數(shù)空間，包括：

輸入所述目標(biāo)任務(wù)的訓(xùn)練數(shù)據(jù)；

基于梯度反向傳播算法對(duì)所述參數(shù)空間進(jìn)行更新，其中所述參數(shù)空間的梯度為所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)中的部分第一子網(wǎng)絡(luò)結(jié)構(gòu)所對(duì)應(yīng)的參數(shù)梯度的平均值。

3.根據(jù)權(quán)利要求1或2所述的搜索方法，其特征在于，所述對(duì)所述子網(wǎng)絡(luò)集合進(jìn)行更新，以獲取更新子網(wǎng)絡(luò)集合，包括：

基于粒子群算法、遺傳算法和煙花算法中的任意一種算法對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行處理，得到下一代子網(wǎng)絡(luò)結(jié)構(gòu)；

基于非支配排序算法，根據(jù)第一度量目標(biāo)對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)和所述下一代子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行等級(jí)劃分得到第一次等級(jí)劃分結(jié)果；

基于非支配排序算法，根據(jù)第二度量目標(biāo)對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)和所述下一代子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行等級(jí)劃分得到第二次等級(jí)劃分結(jié)果；

將所述第一次等級(jí)劃分結(jié)果與所述第二次等級(jí)劃分結(jié)果中相同等級(jí)中所包括的子網(wǎng)絡(luò)結(jié)構(gòu)分別進(jìn)行合并，得到合并的等級(jí)劃分結(jié)果；

從合并的等級(jí)劃分結(jié)果中選擇多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)為所述多個(gè)第二子網(wǎng)絡(luò)結(jié)構(gòu)。

4.根據(jù)權(quán)利要求3所述的搜索方法，其特征在于，所述第一度量目標(biāo)包括參數(shù)量、網(wǎng)絡(luò)運(yùn)行時(shí)間、網(wǎng)絡(luò)所需運(yùn)行內(nèi)存、網(wǎng)絡(luò)計(jì)算量、能耗、浮點(diǎn)運(yùn)算數(shù)目中的至少一個(gè)和準(zhǔn)確率，所述第二度量目標(biāo)包括參數(shù)量、網(wǎng)絡(luò)運(yùn)行時(shí)間、網(wǎng)絡(luò)所需運(yùn)行內(nèi)存、網(wǎng)絡(luò)計(jì)算量、能耗、浮點(diǎn)運(yùn)算數(shù)目中的至少一個(gè)和準(zhǔn)確率的增長(zhǎng)速率。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的搜索方法，其特征在于，還包括：

獲取待處理目標(biāo)任務(wù)數(shù)據(jù)；

根據(jù)終端設(shè)備的計(jì)算資源和/或存儲(chǔ)資源從所述多個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)中選擇第一目標(biāo)神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述第一目標(biāo)神經(jīng)網(wǎng)絡(luò)對(duì)所述待處理目標(biāo)任務(wù)數(shù)據(jù)進(jìn)行處理，得到與所述目標(biāo)任務(wù)對(duì)應(yīng)的處理結(jié)果。

6.一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搜索方法，其特征在于，包括：

根據(jù)目標(biāo)任務(wù)確定搜索網(wǎng)絡(luò)，所述搜索網(wǎng)絡(luò)包括結(jié)構(gòu)空間，所述結(jié)構(gòu)空間包括多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)；

從所述搜索網(wǎng)絡(luò)中確定子網(wǎng)絡(luò)集合，所述子網(wǎng)絡(luò)集合包括所述多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)中的多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)；

對(duì)所述子網(wǎng)絡(luò)集合進(jìn)行更新，以獲取更新子網(wǎng)絡(luò)集合，所述更新子網(wǎng)絡(luò)集合包括所述多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)中的多個(gè)第二子網(wǎng)絡(luò)結(jié)構(gòu)；

根據(jù)所述更新子網(wǎng)絡(luò)集合，確定與所述目標(biāo)任務(wù)對(duì)應(yīng)的多個(gè)目標(biāo)神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求6所述的搜索方法，其特征在于，所述對(duì)所述子網(wǎng)絡(luò)集合進(jìn)行更新，以獲取更新子網(wǎng)絡(luò)集合，包括：

基于粒子群算法、遺傳算法和煙花算法中的任意一種算法對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行處理，得到下一代子網(wǎng)絡(luò)結(jié)構(gòu)；

基于非支配排序算法，根據(jù)第一度量目標(biāo)對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)和所述下一代子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行等級(jí)劃分得到第一次等級(jí)劃分結(jié)果；

基于非支配排序算法，根據(jù)第二度量目標(biāo)對(duì)所述多個(gè)第一子網(wǎng)絡(luò)結(jié)構(gòu)和所述下一代子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行等級(jí)劃分得到第二次等級(jí)劃分結(jié)果；

將第一次等級(jí)劃分結(jié)果與所述第二次等級(jí)劃分結(jié)果中相同等級(jí)中所包括的子網(wǎng)絡(luò)結(jié)構(gòu)分別進(jìn)行合并，得到合并的等級(jí)劃分結(jié)果；

從合并的等級(jí)劃分結(jié)果中選擇多個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)為所述多個(gè)第二子網(wǎng)絡(luò)結(jié)構(gòu)。