[發(fā)明專利]網(wǎng)絡(luò)結(jié)構(gòu)搜索的方法、裝置、存儲介質(zhì)和計算機(jī)程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 201980031708.4
• 申請日: 2019-10-30
• 公開（公告）號: CN112106077A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設(shè)計）人: 蔣陽;龐磊;胡湛
• 申請（專利權(quán)）人: 深圳市大疆創(chuàng)新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京龍雙利達(dá)知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 毋小妮;毛威

本申請?zhí)峁┝艘环N網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，包括：總圖訓(xùn)練步驟：根據(jù)第一網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)對第一總圖進(jìn)行訓(xùn)練，生成第二總圖；網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練步驟：根據(jù)所述第一網(wǎng)絡(luò)結(jié)構(gòu)從所述第二總圖中確定若干測試子圖；通過測試數(shù)據(jù)對所述若干測試子圖進(jìn)行測試，生成反饋結(jié)果；根據(jù)所述反饋結(jié)果確定跳線約束項；根據(jù)所述反饋結(jié)果以及跳線約束項對所述第一網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行更新。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，不同訓(xùn)練階段對跳線密度的要求不同，上述方法中的跳線約束項是基于當(dāng)前訓(xùn)練階段中的反饋結(jié)果確定的，因此，上述方法中跳線密度與當(dāng)前訓(xùn)練階段相關(guān)，使得控制器的當(dāng)前跳線密度更加適應(yīng)當(dāng)前訓(xùn)練階段，從而能夠在取得良好的訓(xùn)練結(jié)果的同時提高訓(xùn)練效率。

版權(quán)申明

本專利文件披露的內(nèi)容包含受版權(quán)保護(hù)的材料。該版權(quán)為版權(quán)所有人所有。版權(quán)所有人不反對任何人復(fù)制專利與商標(biāo)局的官方記錄和檔案中所存在的該專利文件或者該專利披露。

技術(shù)領(lǐng)域

本申請涉及人工智能(Artificial Intelligence，AI)領(lǐng)域，并且更為具體地，涉及一種網(wǎng)絡(luò)結(jié)構(gòu)搜索的方法、裝置、存儲介質(zhì)和計算機(jī)程序產(chǎn)品。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)是AI的基礎(chǔ)，隨著神經(jīng)網(wǎng)絡(luò)的性能不斷提高，其網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜。一個神經(jīng)網(wǎng)絡(luò)可以需要經(jīng)過訓(xùn)練才能夠被正常使用，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要是調(diào)整神經(jīng)網(wǎng)絡(luò)的各層內(nèi)的操作(operation)以及各層之間的連接關(guān)系，以便于神經(jīng)網(wǎng)絡(luò)能夠輸出正確的結(jié)果。其中，上述連接關(guān)系也可以稱為跳線(skip)或者捷徑(shortcut)。

一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法是利用高效神經(jīng)結(jié)構(gòu)搜索(Efficient NeuralArchitecture Search，ENAS)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在利用ENAS訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中，控制器不斷的對神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行采樣，嘗試不同的網(wǎng)絡(luò)結(jié)構(gòu)對輸出結(jié)果的影響，并利用上一次采樣得到的網(wǎng)絡(luò)結(jié)構(gòu)的輸出結(jié)果確定下一次采樣的網(wǎng)絡(luò)結(jié)構(gòu)，直至神經(jīng)網(wǎng)絡(luò)收斂。

相比于手工調(diào)試神經(jīng)網(wǎng)絡(luò)的方法，利用ENAS訓(xùn)練神經(jīng)網(wǎng)絡(luò)能夠提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率，但是，利用ENAS訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率仍有待于提高。

發(fā)明內(nèi)容

本申請的實施方式提供一種網(wǎng)絡(luò)結(jié)構(gòu)搜索的方法及裝置、計算機(jī)存儲介質(zhì)和計算機(jī)程序產(chǎn)品。

第一方面，提供了一種網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，包括：總圖訓(xùn)練步驟：根據(jù)第一網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)對第一總圖進(jìn)行訓(xùn)練，生成第二總圖；網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練步驟：根據(jù)所述第一網(wǎng)絡(luò)結(jié)構(gòu)從所述第二總圖中確定若干測試子圖；通過測試數(shù)據(jù)對所述若干測試子圖進(jìn)行測試，生成反饋結(jié)果；根據(jù)所述反饋結(jié)果確定跳線約束項；根據(jù)所述反饋結(jié)果以及跳線約束項對所述第一網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行更新。

上述方法可以應(yīng)用于芯片、移動終端或者服務(wù)器。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，不同訓(xùn)練階段對跳線密度的要求不同；例如，在一些神經(jīng)網(wǎng)絡(luò)的初期訓(xùn)練階段中，為了盡可能地探索搜索空間以避免網(wǎng)絡(luò)結(jié)構(gòu)出現(xiàn)偏差(bias)，需要采用跳線密度較大的控制器進(jìn)行訓(xùn)練；在一些神經(jīng)網(wǎng)絡(luò)的后期訓(xùn)練階段中，神經(jīng)網(wǎng)絡(luò)的隨機(jī)性已大大減小，無需探索全部搜索空間，則可以采用跳線密度較小的控制器進(jìn)行訓(xùn)練，以減小資源(包括算力資源和時間資源)的消耗。由于上述方法中的跳線約束項是基于當(dāng)前訓(xùn)練階段中的反饋結(jié)果確定的，因此，上述方法中跳線約束項與當(dāng)前訓(xùn)練階段相關(guān)，使得控制器的當(dāng)前跳線密度更加適應(yīng)當(dāng)前訓(xùn)練階段，從而能夠在取得良好的訓(xùn)練結(jié)果的同時減小資源消耗，提高訓(xùn)練效率，尤其適用于移動設(shè)備。

第二方面，提供一種網(wǎng)絡(luò)結(jié)構(gòu)搜索裝置，所述裝置用于執(zhí)行上述第一方面中的方法。

第三方面，提供了一種網(wǎng)絡(luò)結(jié)構(gòu)搜索裝置，所述裝置包括存儲器和處理器，所述存儲器用于存儲指令，所述處理器用于執(zhí)行所述存儲器存儲的指令，并且對所述存儲器中存儲的指令的執(zhí)行使得所述處理器執(zhí)行第一方面的方法。

第四方面，提供了一種芯片，所述芯片包括處理模塊與通信接口，所述處理模塊用于控制所述通信接口與外部進(jìn)行通信，所述處理模塊還用于實現(xiàn)第一方面的方法。