[發(fā)明專利]確定網(wǎng)絡(luò)的性能參數(shù)值的方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011639067.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112686321A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 張選楊
• 申請（專利權(quán)）人: 北京邁格威科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 王婷婷

本申請實施例提供了一種確定網(wǎng)絡(luò)的性能參數(shù)值的方法、裝置、設(shè)備及介質(zhì)，屬于機器學(xué)習(xí)技術(shù)領(lǐng)域，所述方法包括：將多個網(wǎng)絡(luò)模塊分別與原始網(wǎng)絡(luò)進行組合，得到所述原始網(wǎng)絡(luò)的多個子網(wǎng)絡(luò)，其中，一個網(wǎng)絡(luò)模塊用于實現(xiàn)一種類型的數(shù)據(jù)處理操作；對所述多個子網(wǎng)絡(luò)交替訓(xùn)練多次，以完成對所述原始網(wǎng)絡(luò)的訓(xùn)練，其中，包括同一個網(wǎng)絡(luò)模塊的各個子網(wǎng)絡(luò)之間共享該個網(wǎng)絡(luò)模塊的參數(shù)；針對所述多個子網(wǎng)絡(luò)中的任一子網(wǎng)絡(luò)，根據(jù)該子網(wǎng)絡(luò)包括的各個網(wǎng)絡(luò)模塊各自在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中的累積梯度值，確定該子網(wǎng)絡(luò)的性能參數(shù)值。

技術(shù)領(lǐng)域

本申請涉及機器學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種確定網(wǎng)絡(luò)的性能參數(shù)值的方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)的性能在各種視覺任務(wù)以及語音任務(wù)中取得了顯著的性能提升，但是現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如ResNet、DenseNet等都只是提出了一種通用的模型拓撲結(jié)構(gòu)范式，這些范式雖然在一些通用計算機任務(wù)中都能取得比較好的結(jié)果，但是隨著應(yīng)用場景的復(fù)雜化，需要針對不同的任務(wù)以及不同的條件約束(如嵌入式設(shè)備中的算力約束，存儲約束等)進行模型結(jié)構(gòu)適配，以達到性能和條件約束之間最好的平衡。但是，這個過程需要耗費較高的人力成本，因此，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法便應(yīng)運而生。

其中，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法主要是定義好搜索空間后，從搜索空間中采樣多個子模型來進行從頭開始訓(xùn)練，利用子模型在驗證數(shù)據(jù)集上的準確率作為模型性能的一個評估指標，再結(jié)合強化學(xué)習(xí)或者演化算法進模型結(jié)構(gòu)搜索。但是，由于子模型在驗證數(shù)據(jù)集上的準確率并不足以反映子模型的真實性能，導(dǎo)致后續(xù)搜索出的子模型在推理階段中的性能并不高。因此，如何提高神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法搜索出的子模型的準確性，是亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

鑒于上述問題，提出了本申請實施例的一種確定網(wǎng)絡(luò)的性能參數(shù)值的方法、裝置、設(shè)備及介質(zhì)，以便克服上述問題或者至少部分地解決上述問題。

為了解決上述問題，本申請的第一方面，公開了一種確定網(wǎng)絡(luò)的性能參數(shù)值的方法，所述方法包括：

將多個網(wǎng)絡(luò)模塊分別與原始網(wǎng)絡(luò)進行組合，得到所述原始網(wǎng)絡(luò)的多個子網(wǎng)絡(luò)，其中，一個網(wǎng)絡(luò)模塊用于實現(xiàn)一種類型的數(shù)據(jù)處理操作；

對所述多個子網(wǎng)絡(luò)交替訓(xùn)練多次，以完成對所述原始網(wǎng)絡(luò)的訓(xùn)練，其中，包括同一個網(wǎng)絡(luò)模塊的各個子網(wǎng)絡(luò)之間共享該個網(wǎng)絡(luò)模塊的參數(shù)；

針對所述多個子網(wǎng)絡(luò)中的任一子網(wǎng)絡(luò)，根據(jù)該子網(wǎng)絡(luò)包括的各個網(wǎng)絡(luò)模塊各自在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中的累積梯度值，確定該子網(wǎng)絡(luò)的性能參數(shù)值。

可選地，所述方法還包括：

在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中，對所述多個網(wǎng)絡(luò)模塊各自在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中的累積梯度值進行統(tǒng)計，得到所述多個網(wǎng)絡(luò)模塊各自對應(yīng)的累積梯度值序列；

針對所述多個子網(wǎng)絡(luò)中的任一子網(wǎng)絡(luò)，確定該子網(wǎng)絡(luò)的性能參數(shù)值，包括：

將該子網(wǎng)絡(luò)包括的每個網(wǎng)絡(luò)模塊對應(yīng)的累積梯度值序列作為一行，以得到該子網(wǎng)絡(luò)的累積梯度值矩陣；

對該子網(wǎng)絡(luò)的累積梯度值矩陣進行處理，得到該子網(wǎng)絡(luò)的性能參數(shù)值。

可選地，在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中，每一次訓(xùn)練針對的子網(wǎng)絡(luò)為所述多個子網(wǎng)絡(luò)中的任一子網(wǎng)絡(luò)；所述方法還包括：

以每一次訓(xùn)練針對的子網(wǎng)絡(luò)為目標子網(wǎng)絡(luò)，執(zhí)行以下步驟：

利用訓(xùn)練樣本，對所述目標子網(wǎng)絡(luò)進行訓(xùn)練，得到所述目標子網(wǎng)絡(luò)包括的各個網(wǎng)絡(luò)模塊各自的梯度值；

利用所述目標子網(wǎng)絡(luò)包括的各個網(wǎng)絡(luò)模塊各自的梯度值，對所述多個網(wǎng)絡(luò)模塊中屬于所述目標子網(wǎng)絡(luò)的各個網(wǎng)絡(luò)模塊各自的累積梯度值進行更新；

在所述原始網(wǎng)絡(luò)的訓(xùn)練過程中，得到所述多個網(wǎng)絡(luò)模塊中任一網(wǎng)絡(luò)模塊對應(yīng)的累積梯度值序列，包括：