[發明專利]一種深度神經網絡的訓練方法

在審

• 申請號: 201810045818.3
• 申請日: 2018-01-17
• 公開（公告）號: CN108108814A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 黎明;夏昌盛;張韻東;邱嵩
• 申請（專利權）人: 北京中星微人工智能芯片技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京布瑞知識產權代理有限公司 11505
• 代理人: 孟潭

本發明提供了一種深度神經網絡的訓練方法。該訓練方法包括：利用訓練集對深度神經網絡進行迭代訓練；利用訓練集和測試集對訓練中的深度神經網絡進行評估，得到評估結果；根據評估結果對訓練中的深度神經網絡中神經元的丟棄率進行調整，并對調整后的深度神經網絡進行迭代訓練。通過根據評估結果對訓練中的深度神經網絡中神經元的丟棄率進行動態調整，并對調整后的深度神經網絡進行迭代訓練，從而減少傳統深度神經網絡中“過擬合”現象的發生。

技術領域

本發明涉及神經網絡領域，具體涉及一種深度神經網絡的訓練方法。

背景技術

近年來，隨著互聯網技術的迅猛發展，深度卷積神經網絡廣泛應用于圖像分類、圖像識別、語音識別、自動駕駛等眾多領域。但是，深度卷積神經網絡的模型結構龐大復雜，需要大規模數據對模型參數進行優化訓練。然而，現實生活中的許多實際問題，通常只有小規模數據的支持，直接利用目標任務的小規模訓練數據，很難獲得高性能的深度神經網絡。深度神經網絡的層數和每層中的神經元數量通常不是固定的。設計者通常根據經驗設計具體模型，例如設定2個中間層，每層100個神經元數量，從而導致網絡參數過多。在訓練集數據有限的情況下，通常會出現過擬合現象。過擬合現象是一種訓練出來的模型對訓練集的數據預測精準度極高，但對新的樣本數據測試精度很低且泛化能力很弱的現象。

發明內容

有鑒于此，本發明實施例提供了一種深度神經網絡的訓練方法，能夠減少傳統深度神經網絡中“過擬合”現象的發生。

本發明的一個方面提供一種深度神經網絡的訓練方法，該方法包括以下步驟：利用訓練集對深度神經網絡進行迭代訓練；利用訓練集和測試集對訓練中的深度神經網絡進行評估，得到評估結果；根據評估結果對訓練中的深度神經網絡中神經元的丟棄率進行調整，并對調整后的深度神經網絡進行迭代訓練。

在一個實施例中，評估結果是通過計算所述訓練集的準確率與所述測試集的準確率的差而得出的。

在一個實施例中，根據評估結果對訓練中的深度神經網絡中神經元的丟棄率進行調整，包括：在評估結果大于第一預設閾值的情況下，調整訓練中的深度神經網絡中的神經元的丟棄率，以使得評估結果小于或等于第一預設閾值。

在一個實施例中，第一預設閾值為1％。

在一個實施例中，神經元的丟棄率的取值范圍為0至1，其中丟棄率的取值越低，在訓練深度神經網絡過程中，參與訓練的神經元的數目就越小，其中調整訓練中的深度神經網絡中的神經元的丟棄率，包括：以預定的步長降低訓練中的深度神經網絡中的神經元的丟棄率。

在一個實施例中，預定的步長為5％。

在一個實施例中，深度神經網絡的訓練方法還包括：在丟棄率小于第二預設閾值時，停止調整訓練中的深度神經網絡中神經元的丟棄率。

在一個實施例中，在迭代訓練初期且在評估結果小于或等于第一預設閾值的情況下，丟棄率為1。

在一個實施例中，第二預設閾值為0.4。

在一個實施例中，利用訓練集和測試集對訓練中的深度神經網絡進行評估，包括：每當利用訓練集對深度神經網絡進行若干次訓練后，利用訓練集和測試集對訓練中的深度神經網絡進行評估。

本發明的另一方面提供了一種深度神經網絡的訓練系統，該訓練系統包括：訓練單元，用于利用訓練集對深度神經網絡進行迭代訓練；評估單元，用于利用訓練集和測試集對訓練中的深度神經網絡進行評估，得到評估結果；調整單元，用于根據評估結果對訓練中的深度神經網絡中神經元的丟棄率進行調整，并對調整后的深度神經網絡進行迭代訓練。

在一個實施例中，評估結果是通過計算所述訓練集的準確率與所述測試集的準確率的差而得出的。