[發明專利]網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品在審
| 申請號： | 201980009276.7 | 申請日： | 2019-05-31 |
| 公開（公告）號： | CN111684472A | 公開（公告）日： | 2020-09-18 |
| 發明（設計）人： | 蔣陽;龐磊;胡湛 | 申請（專利權）人： | 深圳市大疆創新科技有限公司 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08;G06N20/00 |
| 代理公司： | 北京勵誠知識產權代理有限公司 11647 | 代理人： | 趙爽 |
| 地址： | 518057 廣東省深圳市南山區*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 網絡 結構 搜索 方法 裝置 計算機 存儲 介質 程序 產品 | ||
1.一種網絡結構搜索的方法，其特征在于，包括：
定義搜索空間步驟：確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述神經網絡模型中每兩個節點之間的操作層上的多種操作；
預訓練步驟：根據第一網絡結構以所述第一網絡結構的預設參數訓練所述搜索空間的總圖以得到具有預訓練參數的所述總圖，所述總圖由所述操作構成；
訓練步驟：根據所述第一網絡結構訓練具有所述預訓練參數的所述總圖和根據所述第一網絡結構的反饋量更新所述第一網絡結構。
2.根據權利要求1所述的網絡結構搜索的方法，其特征在于，所述預訓練步驟，包括：
根據所述第一網絡結構以所述第一網絡結構的預設參數在所述搜索空間的每個所述操作層采樣一個所述操作以得到所述總圖的一個子圖；
利用訓練集的一批訓練數據訓練所述總圖的子圖以得到具有所述預訓練參數的所述總圖。
3.根據權利要求1所述的網絡結構搜索的方法，其特征在于，所述訓練步驟包括：
訓練總圖步驟：根據所述第一網絡結構訓練具有所述預訓練參數的所述總圖；
訓練第一網絡結構步驟：確定所述反饋量并根據所述反饋量更新所述第一網絡結構。
4.根據權利要求3所述的網絡結構搜索的方法，其特征在于，所述訓練總圖步驟和所述訓練第一網絡結構步驟迭代進行。
5.根據權利要求3所述的網絡結構搜索的方法，其特征在于，所述訓練總圖步驟包括：
根據所述第一網絡結構在所述搜索空間的每個所述操作層采樣一個所述操作以得到具有所述預訓練參數的所述總圖的一個子圖；
利用訓練集的一批訓練數據訓練所述子圖。
6.根據權利要求3所述的網絡結構搜索的方法，其特征在于，所述訓練第一網絡結構步驟循環預設次數，根據所述反饋量更新所述第一網絡結構，包括：
利用每次循環確定的所述反饋量更新所述第一網絡結構，每次循環確定的所述反饋量的數量為預設數量。
7.根據權利要求6所述的網絡結構搜索的方法，其特征在于，確定所述反饋量，包括：
根據所述第一網絡結構在所述搜索空間的每個所述操作層采樣一個所述操作以得到第二網絡結構；
利用測試集的一批測試數據預測所述第二網絡結構以確定所述反饋量。
8.根據權利要求6所述的網絡結構搜索方法，其特征在于，所述第一網絡結構是根據長短期記憶網絡模型來構建，根據所述反饋量更新所述第一網絡結構，通過以下條件式實現：
其中，Rk為第k個所述反饋量，θc為所述長短期記憶網絡模型的參數，at為在第t個所述操作層采樣到的所述操作，P(at|a(t-1):1；θc)為采樣到所述操作的概率，m為所述反饋量的總數，T為所述第一網絡結構預測的超參數的數量。
9.一種網絡結構搜索的裝置，其特征在于，包括處理器和存儲器，所述存儲器存儲有一個或多個程序，在所述程序被處理器執行的情況下，使得所述處理器用于執行：
定義搜索空間步驟：確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述神經網絡模型中每兩個節點之間的操作層上的多種操作；
預訓練步驟：根據第一網絡結構以所述第一網絡結構的預設參數訓練所述搜索空間的總圖以得到具有預訓練參數的所述總圖，所述總圖由所述操作構成；
訓練步驟：根據所述第一網絡結構訓練具有所述預訓練參數的所述總圖和根據所述第一網絡結構的反饋量更新所述第一網絡結構。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市大疆創新科技有限公司，未經深圳市大疆創新科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201980009276.7/1.html，轉載請聲明來源鉆瓜專利網。
