[發明專利]一種神經網絡訓練方法及裝置

在審

• 申請號: 202010817216.2
• 申請日: 2020-08-14
• 公開（公告）號: CN112819152A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 王敏;劉暢
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李漢亮

本申請實施例公開了一種神經網絡訓練方法及裝置；本申請實施例可以獲取待確定連接關系的原生神經網絡，所述原生神經網絡包括至少兩個網絡層，所述網絡層包括至少一個訓練節點；獲取當前網絡層中當前訓練節點的節點連接策略信息；基于節點連接策略信息，從目標網絡層的訓練節點中確定與當前訓練節點對應的目標連接節點；建立當前訓練節點與目標連接節點之間的連接關系，得到連接后神經網絡；通過針對樣本數據在連接后神經網絡中執行前向傳遞，得到預測輸出結果；基于預測輸出結果，更新連接后神經網絡中各訓練節點的權重信息，以確定出訓練后神經網絡。該方案可以提高神經網絡訓練的效率，并改善神經網絡訓練中的過擬合現象。

技術領域

本申請涉及計算機技術領域，具體涉及一種神經網絡訓練方法及裝置。

背景技術

人工神經網絡可以從信息處理角度對人腦神經元網絡進行抽象，以建立模型，并按不同的連接方式組成不同的網絡，例如，可以組成包括多個隱藏層的深度神經網絡。隨著對人工神經網絡的不斷深入研究，人們在各個領域都取得了很大的進展。

在對相關技術的研究和實踐過程中，本申請的發明人發現，在深度神經網絡模型的訓練過程中，常常容易出現過擬合的問題，導致模型在訓練集上表現很好，而在測試集上表現遜色，使得訓練得到的模型并沒有理解數據背后的規律、具有較差的泛化能力。

發明內容

本申請實施例提供一種神經網絡訓練方法及裝置，可以提高神經網絡訓練的效率，并改善神經網絡訓練中的過擬合現象。

本申請實施例提供一種神經網絡訓練方法，包括：

獲取待確定連接關系的原生神經網絡，其中，所述原生神經網絡包括至少兩個網絡層，所述網絡層包括至少一個訓練節點；

獲取當前網絡層中當前訓練節點的節點連接策略信息，其中，所述當前訓練節點為所述當前網絡層中的需要確定連接關系的訓練節點；

基于所述節點連接策略信息，從目標網絡層的訓練節點中確定與所述當前訓練節點對應的目標連接節點，其中，所述目標網絡層為所述原生神經網絡中除所述當前網絡層外的至少一個網絡層；

建立所述當前訓練節點與所述目標連接節點之間的連接關系，得到連接后神經網絡；

通過針對樣本數據在所述連接后神經網絡中執行前向傳遞，得到預測輸出結果；

基于所述預測輸出結果，更新所述連接后神經網絡中各訓練節點的權重信息，以確定出訓練后神經網絡。

相應的，本申請實施例還提供一種神經網絡訓練裝置，包括：

第一獲取單元，用于獲取待確定連接關系的原生神經網絡，其中，所述原生神經網絡包括至少兩個網絡層，所述網絡層包括至少一個訓練節點；

第二獲取單元，用于獲取當前網絡層中當前訓練節點的節點連接策略信息，其中，所述當前訓練節點為所述當前網絡層中的需要確定連接關系的訓練節點；

節點確定單元，用于基于所述節點連接策略信息，從目標網絡層的訓練節點中確定與所述當前訓練節點對應的目標連接節點，其中，所述目標網絡層為所述原生神經網絡中除所述當前網絡層外的至少一個網絡層；

連接建立單元，用于建立所述當前訓練節點與所述目標連接節點之間的連接關系，得到連接后神經網絡；

前向傳遞單元，用于通過針對樣本數據在所述連接后神經網絡中執行前向傳遞，得到預測輸出結果；

權重更新單元，用于基于所述預測輸出結果，更新所述連接后神經網絡中各訓練節點的權重信息，以確定出訓練后神經網絡。

在一實施例中，所述節點確定單元，包括：

解析子單元，用于對所述節點連接策略信息進行解析，得到所述目標連接節點對應的節點數量信息與節點選擇方式；