[發明專利]一種訓練神經網絡的方法及系統

有效

• 申請號: 201911202733.2
• 申請日: 2019-11-29
• 公開（公告）號: CN110991613B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 蔣亮;溫祖杰;梁忠平;張家興
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

本說明書實施例公開了一種訓練神經網絡的方法及系統。所述方法包括：將訓練數據輸入N+K層神經網絡，第N層神經網絡輸出第一概率分布，第N+K層神經網絡輸出第二概率分布；其中，N和K為大于0的整數；根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號；根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號；根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡。

技術領域

本說明書實施例涉及數據處理領域，特別涉及一種訓練神經網絡的方法及系統。

背景技術

隨著人工智能領域的快速發展，神經網絡得到了廣泛的應用。例如，通過神經網絡對數據進行實時預測。當預測數據量較大時，為了保證神經網絡的運行速度，包括訓練和預測速度，通常會使用層數較少的神經網絡(即，淺層神經網絡)處理。然而，淺層神經網絡由于層數少，參數量少，其預測效果較差。

因此，如何有效提高淺層神經網絡的數據預測效果成為目前亟需解決的技術問題。

發明內容

本說明書實施例的一個方面提供一種訓練神經網絡的方法。所述方法包括：將訓練數據輸入N+K層神經網絡，第N層神經網絡輸出第一概率分布，第N+K層神經網絡輸出第二概率分布；其中，N和K為大于0的整數；根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號；根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號；根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡。

本說明書實施例的另一個方面提供一種基于神經網絡進行預測的方法。所述方法包括：采用如上所述的訓練好的N層神經網絡對目標數據進行預測，得到目標數據的目標預測結果。

本說明書實施例的另一個方面提供一種訓練神經網絡的系統。所述系統包括：概率分布輸出模塊，用于將訓練數據輸入N+K層神經網絡，第N層神經網絡輸出第一概率分布，第N+K層神經網絡輸出第二概率分布；其中，N和K為大于0的整數；反饋信號確定模塊，用于根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號；根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號；參數調整模塊，用于根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡。

本說明書實施例的另一個方面提供一種訓練神經網絡的裝置。所述裝置包括至少一個存儲介質和至少一個處理器，所述至少一個存儲介質用于存儲計算機指令；所述至少一個處理器用于執行所述計算機指令以實現訓練神經網絡的方法。

本說明書實施例的另一個方面提供一種計算機可讀存儲介質。所述存儲介質存儲計算機指令，當計算機指令被計算機執行后，實現訓練神經網絡的方法。

附圖說明

本說明書將以示例性實施例的方式進一步描述，這些示例性實施例將通過附圖進行詳細描述。這些實施例并非限制性的，在這些實施例中，相同的編號表示相同的結構，其中：

圖1是根據本說明書的一些實施例所示的示例性訓練神經網絡系統的模塊圖；

圖2是根據本說明書的一些實施例所示的訓練神經網絡方法的示例性流程圖；

圖3是根據本說明書的一些實施例所示的確定第一反饋信號的方法的示例性流程圖；

圖4是根據本說明書的一些實施例所示的確定第二反饋信號的方法的示例性流程圖；

圖5是根據本說明書的一些實施例所示的確定訓練好的N層神經網絡的方法的示例性流程圖。

具體實施方式