[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)的獲取方法、數(shù)據(jù)處理方法以及相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111166585.0
• 申請(qǐng)日: 2021-09-30
• 公開（公告）號(hào): CN113869496A
• 公開（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)星辰;茹彬鑫;佩德羅·埃斯佩蘭薩;法比奧·瑪利亞·卡路奇;李震國(guó)
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 閔晶晶

1.一種神經(jīng)網(wǎng)絡(luò)的獲取方法，其特征在于，所述方法包括：

獲取與第一神經(jīng)架構(gòu)單元對(duì)應(yīng)的第一指示信息，所述第一指示信息用于指示k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊中每個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊在所述第一神經(jīng)架構(gòu)單元中出現(xiàn)的概率和/或次數(shù)，所述k為正整數(shù)；

根據(jù)所述第一指示信息和所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊，生成所述第一神經(jīng)架構(gòu)單元，并根據(jù)生成的所述第一神經(jīng)架構(gòu)單元，生成第一神經(jīng)網(wǎng)絡(luò)，所述第一神經(jīng)網(wǎng)絡(luò)包括至少一個(gè)所述第一神經(jīng)架構(gòu)單元；

獲取與所述第一指示信息對(duì)應(yīng)的目標(biāo)評(píng)分，所述目標(biāo)評(píng)分用于指示與所述第一指示信息對(duì)應(yīng)的所述第一神經(jīng)網(wǎng)絡(luò)在處理目標(biāo)數(shù)據(jù)時(shí)的性能；

根據(jù)與多個(gè)第一指示信息對(duì)應(yīng)的多個(gè)目標(biāo)評(píng)分，從所述多個(gè)第一指示信息中獲取第二指示信息，獲取與所述第二指示信息對(duì)應(yīng)的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一指示信息包括于狄利克雷分布空間。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取與所述第一指示信息對(duì)應(yīng)的目標(biāo)評(píng)分之后，所述方法還包括：

根據(jù)所述第一指示信息和所述第一指示信息所對(duì)應(yīng)的目標(biāo)評(píng)分，獲取新的第一指示信息，其中，所述新的第一指示信息用于指示所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊中每個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊在所述第一神經(jīng)架構(gòu)單元中出現(xiàn)的概率，所述新的第一指示信息用于生成新的第一神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一指示信息包括與k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊對(duì)應(yīng)的k個(gè)第一概率值，一個(gè)所述第一概率值用于指示一個(gè)所述待選擇的神經(jīng)網(wǎng)絡(luò)模塊在所述第一神經(jīng)架構(gòu)單元中出現(xiàn)的概率，所述根據(jù)所述第一指示信息和所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊，生成所述第一神經(jīng)架構(gòu)單元，包括：

將所述每個(gè)第一概率值與所述N相乘，得到目標(biāo)結(jié)果，所述目標(biāo)結(jié)果包括k個(gè)第一值；

對(duì)所述目標(biāo)結(jié)果中的每個(gè)第一值進(jìn)行化整處理，得到化整后的目標(biāo)結(jié)果，其中，所述化整后的目標(biāo)結(jié)果包括k個(gè)第二值，所述k個(gè)第二值均為整數(shù)且所述k個(gè)第二值的和為所述N，一個(gè)所述第二值用于指示一個(gè)所述待選擇的神經(jīng)網(wǎng)絡(luò)模塊在所述第一神經(jīng)架構(gòu)單元中出現(xiàn)的次數(shù)；

根據(jù)所述化整后的目標(biāo)結(jié)果和所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊，生成所述第一神經(jīng)架構(gòu)單元，其中，所述第一神經(jīng)架構(gòu)單元包括的N個(gè)神經(jīng)網(wǎng)絡(luò)模塊滿足所述化整后的目標(biāo)結(jié)果的約束，所述N為正整數(shù)。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述第一指示信息和所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊，生成所述第一神經(jīng)架構(gòu)單元，包括：

根據(jù)所述第一指示信息，基于所述k個(gè)待選擇的神經(jīng)網(wǎng)絡(luò)模塊采樣得到N個(gè)第一神經(jīng)網(wǎng)絡(luò)模塊，所述第一指示信息用于指示每個(gè)所述待選擇的神經(jīng)網(wǎng)絡(luò)模塊被采樣到的概率；

根據(jù)所述N個(gè)第一神經(jīng)網(wǎng)絡(luò)模塊，生成所述第一神經(jīng)架構(gòu)單元，所述第一神經(jīng)架構(gòu)單元包括所述N個(gè)第一神經(jīng)網(wǎng)絡(luò)模塊。

6.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述目標(biāo)數(shù)據(jù)為如下中的任一種：圖像、語(yǔ)音、文本或序列數(shù)據(jù)。

7.一種神經(jīng)網(wǎng)絡(luò)的獲取方法，其特征在于，所述方法包括：

獲取與第二神經(jīng)架構(gòu)單元對(duì)應(yīng)的第一指示信息，所述第二神經(jīng)架構(gòu)單元包括N個(gè)第二神經(jīng)網(wǎng)絡(luò)模塊，每個(gè)所述第二神經(jīng)網(wǎng)絡(luò)模塊由k個(gè)待處理的神經(jīng)網(wǎng)絡(luò)模塊加權(quán)求和得到，所述第一指示信息用于指示每個(gè)所述待處理的神經(jīng)網(wǎng)絡(luò)模塊在所述第二神經(jīng)網(wǎng)絡(luò)模塊中的權(quán)重，N為大于或等于1的整數(shù)；

根據(jù)所述第一指示信息和所述k個(gè)待處理的神經(jīng)網(wǎng)絡(luò)模塊，生成所述第二神經(jīng)架構(gòu)單元，并根據(jù)生成的所述第二神經(jīng)架構(gòu)單元，生成第二神經(jīng)網(wǎng)絡(luò)，所述第二神經(jīng)網(wǎng)絡(luò)包括至少一個(gè)所述第二神經(jīng)架構(gòu)單元；

對(duì)所述第二神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以更新所述第一指示信息，直至滿足預(yù)設(shè)條件，得到更新后的第一指示信息；

根據(jù)所述更新后的第一指示信息和所述k個(gè)待處理的神經(jīng)網(wǎng)絡(luò)模塊，生成第一神經(jīng)架構(gòu)單元，并根據(jù)生成的所述第一神經(jīng)架構(gòu)單元，生成目標(biāo)神經(jīng)網(wǎng)絡(luò)，其中，所述更新后的第一指示信息用于指示每個(gè)所述待處理的神經(jīng)網(wǎng)絡(luò)模塊在所述第一神經(jīng)架構(gòu)單元中出現(xiàn)的概率，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)包括至少一個(gè)所述第一神經(jīng)架構(gòu)單元。