[發明專利]一種提升神經網絡預測性能的方法

在審

• 申請號: 202011339207.3
• 申請日: 2020-11-25
• 公開（公告）號: CN112329924A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 孫亞楠;劉渝橋;吳杰
• 申請（專利權）人: 四川大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N7/00;G06N3/08
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 李林合

本發明公開了一種提升神經網絡預測性能的方法，該方法在性能預測器中使用過數據增強的方法，來從有限的訓練數據中獲得充足的訓練數據，并利用一維有效編碼來有效的編碼神經網絡結構。通過上述方式，在數據增強的幫助下，預測器的性能得到了飛躍式的提升，同時采用了一位有效編碼的方式來表達神經網絡架構，與傳統的硬編碼相比，能夠提高預測器的準確性，并且也能與數據增強一起使用，進一步地提升預測器的性能，使之可以被應用在絕大多數神經網絡搜索空間中，具有能夠在訓練數據較少的情況下就做出一個準確的預測的優點。

技術領域

本發明涉及深度神經網絡領域，具體涉及一種提升神經網絡預測性能的方法。

背景技術

深度神經網絡已經被成功地應用在現實生活中的多個領域，如：圖像分類、自然語言處理以及語音識別。深度神經網絡的可靠性能得益于一個良好的神經網絡架構，然而，為手中的任務設計一個神經網絡架構通常是由專家完成，并且專家還需要同時具備神經網絡和手頭任務兩方面的豐富經驗。此外，人工設計神經網絡架構通常是一個漫長的試錯過程，需要耗費大量的人工精力和時間。神經網絡架構搜索(Neural Architecture Search)是一種自動設計神經網絡架構的方法，不需要上述人工經驗就可以自動地為手頭的任務設計出適合的神經網絡架構。

神經網絡架構搜索可以被分為三個部分：搜索空間、搜索策略和評價方法。首先給定一個搜索空間，搜索策略便會在這個搜索空間中尋找到適合的神經網絡架構。搜索策略可以根據它采用的優化算法分為三類：強化學習、基于梯度的算法以及演化算法。不過，無論是采用以上哪一種搜索策略，都需要進行神經網絡的性能評估來指導搜索過程的進行。在很多的神經網絡架構搜索算法中，它們所采用的評價方法往往是：首先將神經網絡在訓練集上充分訓練，然后再放在驗證集上進行準確率的評估，這不可避免地導致了昂貴的計算代價。例如， Large-Scale神經網絡架構搜索方法用了總共250個圖形處理器(GPU)運行了11天的時間；不僅如此，NAS神經網絡架構搜索方法用了800個GPU運行了接近一個月才得到最終搜索到的網絡。如此昂貴的計算資源對于絕大多數的神經網絡架構搜索研究者來說是負擔不起的。因此，許多算法已經被提出來解決這一問題，即加速神經網絡的評估過程。

性能預測器是一種目前流行的加速神經網絡評估過程的方法。性能預測器可以根據訓練數據被分為兩類：第一類是基于學習曲線的預測器，第二類是基于架構的預測器。具體來說，基于學習曲線的預測器是根據若干條深度神經網絡的早期訓練數據建立一個回歸模型，并以此來預測最終的訓練結果。這種方法的不足在于，需要為每個深度神經網絡都搭建一個性能預測器，這是一個巨大的計算資源開銷。此外，這一類方法僅僅在訓練曲線較為平緩的時候才能表現良好。然而，現代的一般深度神經網絡都是采用規定的學習速率，而這樣的訓練曲線往往是不平整的，這就導致這一類的方法在很多情況下并不適用。基于架構的預測器是需要大量的神經網絡被充分訓練后來得到它們各自的性能，然后再用一個回歸模型建立起架構和性能之間的映射。當需要評價新的深度神經網絡架構時，性能預測器可以直接通過回歸模型根據架構預測該架構的性能

然而，在基于架構的預測器預測之前，需要大量的帶標簽的(也就是被充分訓練的)架構對預測器進行訓練。但是，獲取充足的帶標簽的架構就需要對深度神經網絡進行充分訓練，這就需要大量的計算資源，巨大的計算資源需求也是大多數研究者負擔不起的。并且，傳統方式對架構的編碼一般采用硬編碼(hard-coding)，這并不能有效的表示架構，以至于后續的預測過程不能很好的進行。

發明內容

本發明為解決上述問題提出一種提升神經網絡預測性能的方法，通過如下方式實現：。

一種提升神經網絡預測性能的方法，包括如下步驟：

S1、提取神經網絡架構，將不同編碼方式的神經網絡架構進行編碼轉換，獲得編碼后的層的類型列表x^t以及鄰接矩陣x^m；