[發明專利]網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品

在審

• 申請號: 201980009276.7
• 申請日: 2019-05-31
• 公開（公告）號: CN111684472A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 蔣陽;龐磊;胡湛
• 申請（專利權）人: 深圳市大疆創新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

一種網絡結構搜索的方法包括：定義搜索空間步驟：(步驟S12)確定待進行網絡結構搜索的神經網絡模型的搜索空間，搜索空間定義了神經網絡模型中每兩個節點之間的操作層上的多種操作；預訓練步驟：(步驟S14)根據第一網絡結構以第一網絡結構的預設參數訓練搜索空間的總圖以得到具有預訓練參數的總圖，總圖由操作構成；訓練步驟：(步驟S16)根據第一網絡結構訓練具有預訓練參數的總圖和根據第一網絡結構的反饋量更新第一網絡結構。本申請還公開了一種網絡結構搜索的裝置、計算機存儲介質和計算機程序產品。

技術領域

本申請涉及機器學習領域，特別涉及一種網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品。

背景技術

相關技術中，機器學習算法尤其深度學習算法近年來得到快速發展與廣泛應用。隨著應用場景和模型結構變得越來越復雜，在應用場景中得到最優模型的難度越來越大，其中，可以使用基于權值分享的高效網絡結構搜索(Efficient Neural ArchitectureSearch via Parameter Sharing，ENAS)來提高網絡結構搜索(Neural ArchitectureSearch，NAS)的效率。然而，通過ENAS搜索到的網絡結構經常出現較大的偏見(bias)，即，通過ENAS搜索到的網絡結構總會傾向于卷積核尺寸(kernel size)較大的操作。這導致搜索到的模型參數較大，不易調試訓練。另外，控制器帶有偏見就意味著控制器收斂到的局部最優解，無法充分探索(explore)搜索空間。這樣的控制器不具有較高的可信度，不能保證搜索到的模型就是全局最優。

發明內容

本申請的實施方式提供一種網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品。

本申請實施方式的網絡結構搜索的方法包括：

定義搜索空間步驟：確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述卷積神經網絡中每兩個節點之間的操作層上的多種操作；

預訓練步驟：根據第一網絡結構以所述第一網絡結構的預設參數訓練所述搜索空間的總圖以得到具有預訓練參數的所述總圖，所述總圖由所述操作構成；

訓練步驟：根據所述第一網絡結構訓練具有所述預訓練參數的所述總圖和根據所述第一網絡結構的反饋量更新所述第一網絡結構。

本申請實施方式的網絡結構搜索的裝置包括處理器和存儲器，所述存儲器存儲有一個或多個程序，所述處理器用于定義搜索空間：確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述卷積神經網絡中每兩個節點之間的操作層上的多種操作；及用于預訓練：根據第一網絡結構以所述第一網絡結構的預設參數訓練所述搜索空間的總圖以得到具有預訓練參數的所述總圖，所述總圖由所述操作構成；以及用于訓練：根據所述第一網絡結構訓練具有所述預訓練參數的所述總圖和根據所述第一網絡結構的反饋量更新所述第一網絡結構。

本申請實施方式的計算機存儲介質，其上存儲有計算機程序，所述計算機程序被計算機執行時使得，所述計算機執行上述的方法。

本申請實施方式的包含指令的計算機程序產品，所述指令被計算機執行時使得計算機執行上述的方法。

本申請實施方式的網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品，在對總圖和第一網絡結構進行優化前，先以固定的第一網絡結構的預設參數對總圖進行預訓練，使得具有預訓練參數的總圖得到充分的訓練。預訓練完成后，放開第一網絡結構的參數對總圖和第一網絡結構進行訓練，從而對網絡結構和第一網絡結構進行優化，避免從頭開始訓練時優化第一網絡結構導致的偏見，提高第一網絡結構的可信度，保證搜索到的模型是全局最優。

本申請的實施方式的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實施方式的實踐了解到。

附圖說明