[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法及圖像分類的方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110641506.0
• 申請(qǐng)日: 2021-06-09
• 公開(kāi)（公告）號(hào): CN113344186A
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 初祥祥;范裕達(dá);王曉星;魏曉林
• 申請(qǐng)（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京曼威知識(shí)產(chǎn)權(quán)代理有限公司 11709
• 代理人: 方志煒

本說(shuō)明書(shū)公開(kāi)了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法及圖像分類的方法和裝置，搜索模型中包含第一權(quán)重和第二權(quán)重，對(duì)于待生成神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一個(gè)架構(gòu)單元而言，第一權(quán)重表示該架構(gòu)單元與待生成神經(jīng)網(wǎng)絡(luò)架構(gòu)中的每個(gè)其他架構(gòu)單元之間的連接的重要性，第二權(quán)重表示采用搜索空間中的每個(gè)備選單元來(lái)實(shí)現(xiàn)該架構(gòu)單元的重要性，在訓(xùn)練搜索模型時(shí)，根據(jù)第一權(quán)重選擇與該架構(gòu)單元相連的其他架構(gòu)單元，根據(jù)第二權(quán)重選擇用于實(shí)現(xiàn)該架構(gòu)單元的備選單元，根據(jù)選擇的結(jié)果生成神經(jīng)網(wǎng)絡(luò)架構(gòu)，預(yù)測(cè)生成的神經(jīng)網(wǎng)絡(luò)架構(gòu)的質(zhì)量，根據(jù)預(yù)測(cè)結(jié)果對(duì)搜索模型進(jìn)行訓(xùn)練，以調(diào)整第一權(quán)重和第二權(quán)重，通過(guò)訓(xùn)練完成的搜索模型生成神經(jīng)網(wǎng)絡(luò)架構(gòu)，可有效提高生成的神經(jīng)網(wǎng)絡(luò)架構(gòu)的質(zhì)量。

技術(shù)領(lǐng)域

本說(shuō)明書(shū)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法及圖像分類的方法和裝置。

背景技術(shù)

目前，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的機(jī)器學(xué)習(xí)技術(shù)已經(jīng)廣泛應(yīng)用在各個(gè)技術(shù)領(lǐng)域，如圖像分類、無(wú)人駕駛決策等。對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，可以作為架構(gòu)中的架構(gòu)單元的各種處理層、模塊、子網(wǎng)絡(luò)越來(lái)越多，而神經(jīng)網(wǎng)絡(luò)架構(gòu)通常需要人工來(lái)設(shè)計(jì)，因此，可自動(dòng)化生成神經(jīng)網(wǎng)絡(luò)架構(gòu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural Architecture Search，NAS)方法應(yīng)運(yùn)而生。

GDAS是NAS的一種，在通過(guò)GDAS搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)時(shí)，需要先預(yù)設(shè)搜索空間，搜索空間中包含各種架構(gòu)單元，然后在該搜索空間中搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)。

具體的，在搜索神經(jīng)網(wǎng)絡(luò)架構(gòu)時(shí)，主要關(guān)注的是兩個(gè)問(wèn)題，第一是針對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一個(gè)架構(gòu)單元，該架構(gòu)單元選擇搜索空間中的哪個(gè)架構(gòu)單元來(lái)實(shí)現(xiàn)，第二是針對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一個(gè)架構(gòu)單元，該架構(gòu)單元與該神經(jīng)網(wǎng)絡(luò)架構(gòu)中的哪些其他架構(gòu)單元相連。

NAS的最終目的是輸出優(yōu)質(zhì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，而對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)說(shuō)，評(píng)價(jià)其質(zhì)量的好壞則需要對(duì)該架構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后才能夠評(píng)價(jià)，因此，NAS每次輸出一個(gè)架構(gòu)，就需要對(duì)其輸出的架構(gòu)對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后評(píng)價(jià)該架構(gòu)的優(yōu)劣，這無(wú)疑會(huì)極大的增加NAS搜索架構(gòu)的時(shí)間成本。而在GDAS中，輸出一個(gè)架構(gòu)后，只少量的訓(xùn)練該架構(gòu)的神經(jīng)網(wǎng)絡(luò)，然后根據(jù)少量訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，預(yù)測(cè)該架構(gòu)的優(yōu)劣，以節(jié)省時(shí)間成本。

但是，使用GDAS搜索出的架構(gòu)，其實(shí)際使用時(shí)的效果依然不夠理想，因此，如何通過(guò)自動(dòng)搜索的方法得到效果理想的架構(gòu)，是一個(gè)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本說(shuō)明書(shū)實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法及圖像分類的方法和裝置，以部分解決上述現(xiàn)有技術(shù)存在的問(wèn)題。

本說(shuō)明書(shū)實(shí)施例采用下述技術(shù)方案：

本說(shuō)明書(shū)提供的一種神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法，包括：

針對(duì)待生成神經(jīng)網(wǎng)絡(luò)架構(gòu)中的當(dāng)前架構(gòu)單元，根據(jù)搜索模型中包含的所述待生成神經(jīng)網(wǎng)絡(luò)架構(gòu)中每個(gè)其他架構(gòu)單元與所述當(dāng)前架構(gòu)單元的連接關(guān)系對(duì)應(yīng)的第一權(quán)重，從各其他架構(gòu)單元中選擇與所述當(dāng)前架構(gòu)單元連接的第一目標(biāo)單元；根據(jù)預(yù)設(shè)的搜索空間中包含的每個(gè)備選單元，以及所述搜索模型中包含的每個(gè)備選單元對(duì)應(yīng)的第二權(quán)重，從各備選單元中選擇用于實(shí)現(xiàn)所述當(dāng)前架構(gòu)單元的第二目標(biāo)單元；

根據(jù)針對(duì)所述待生成神經(jīng)網(wǎng)絡(luò)架構(gòu)中的每個(gè)架構(gòu)單元選擇的第一目標(biāo)單元和第二目標(biāo)單元，生成神經(jīng)網(wǎng)絡(luò)架構(gòu)；

根據(jù)訓(xùn)練樣本，預(yù)測(cè)生成的神經(jīng)網(wǎng)絡(luò)架構(gòu)的質(zhì)量，并根據(jù)預(yù)測(cè)的所述質(zhì)量確定所述搜索模型的損失；

以所述損失最小化為優(yōu)化目標(biāo)，訓(xùn)練所述搜索模型，以至少對(duì)所述搜索模型中的第一權(quán)重和第二權(quán)重進(jìn)行調(diào)整，直至滿足預(yù)設(shè)的訓(xùn)練條件時(shí)，根據(jù)訓(xùn)練完成的搜索模型中包含的第一權(quán)重和第二權(quán)重生成神經(jīng)網(wǎng)絡(luò)架構(gòu)。

可選地，從各其他架構(gòu)單元中選擇與所述當(dāng)前架構(gòu)單元連接的第一目標(biāo)單元，具體包括：