[發明專利]網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品

在審

• 申請號: 201980009246.6
• 申請日: 2019-05-31
• 公開（公告）號: CN111656365A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 蔣陽;龐磊;胡湛
• 申請（專利權）人: 深圳市大疆創新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

一種網絡結構搜索的方法包括：(步驟S12)確定待進行網絡結構搜索的神經網絡模型的搜索空間，搜索空間定義了神經網絡模型中每兩個節點之間的操作層上的多種操作；(步驟S14)根據第一網絡結構在搜索空間的每個操作層采樣一個操作以得到目標網絡結構；(步驟S16)低比特化目標網絡結構以得到第二網絡結構；(步驟S18)確定第二網絡結構的反饋量；(步驟S19)根據反饋量更新第一網絡結構。本申請還公開了一種網絡結構搜索的裝置、計算機存儲介質和計算機程序產品。

技術領域

本申請涉及機器學習領域，特別涉及一種網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品。

背景技術

相關技術在移動端應用深度學習模型時，需要在電腦或者服務器上訓練模型，然后將模型部署在移動端的芯片。而目前高性能的深度學習模型往往參數量巨大，并且參數為32bit浮點參數，這在電腦或者服務器等計算力豐富的設備上訓練沒有問題，但是直接部署在計算資源有限的移動端則非常困難。而低比特網絡存儲空間小，運算速度快，對計算資源需求少，因此低比特網絡成為近年來研究的熱點之一。然而，網絡結構對低比特網絡有著較大的影響，如何設計一個適用于低比特網絡的網絡結構是亟待解決的問題。

發明內容

本申請的實施方式提供一種網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品。

本申請實施方式的網絡結構搜索的方法包括：

確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述神經網絡模型中每兩個節點之間的操作層上的多種操作；

根據第一網絡結構在所述搜索空間的每個所述操作層采樣一個所述操作以得到目標網絡結構；

低比特化所述目標網絡結構以得到第二網絡結構；

確定所述第二網絡結構的反饋量；

根據所述反饋量更新所述第一網絡結構。

本申請實施方式的網絡結構搜索的裝置包括處理器和存儲器，所述存儲器存儲有一個或多個程序，在所述程序被所述處理器執行的情況下，使得所述處理器用于執行：確定待進行網絡結構搜索的神經網絡模型的搜索空間，所述搜索空間定義了所述神經網絡模型中每兩個節點之間的操作層上的多種操作；根據第一網絡結構在所述搜索空間的每個所述操作層采樣一個所述操作以得到目標網絡結構；低比特化所述目標網絡結構以得到第二網絡結構；確定所述第二網絡結構的反饋量；根據所述反饋量更新所述第一網絡結構。

本申請實施方式的計算機存儲介質，其上存儲有計算機程序，所述計算機程序被計算機執行時使得，所述計算機執行上述的方法。

本申請實施方式的包含指令的計算機程序產品，所述指令被計算機執行時使得計算機執行上述的方法。

本申請實施方式的網絡結構搜索的方法及裝置、計算機存儲介質和計算機程序產品，將采樣到的目標網絡結構低比特化以得到第二網絡結構，再確定第二網絡結構的反饋量來更新第一網絡結構，可以得到更適用于低比特網絡的網絡結構，從而實現高性能的低比特網絡，進而使低比特網絡能夠更好的應用于移動端場景。

本申請的實施方式的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實施方式的實踐了解到。

附圖說明

本申請的上述和/或附加的方面和優點從結合下面附圖對實施方式的描述中將變得明顯和容易理解，其中：

圖1是本申請實施方式的網絡結構搜索的方法的流程示意圖；

圖2是本申請實施方式的網絡結構搜索的裝置的模塊示意圖；

圖3是本申請實施方式的網絡結構搜索的方法的原理示意圖；