[發明專利]一種訓練神經網絡的方法及系統

有效

• 申請號: 201911202733.2
• 申請日: 2019-11-29
• 公開（公告）號: CN110991613B
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 蔣亮;溫祖杰;梁忠平;張家興
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 楊永梅

1.一種訓練神經網絡的方法，包括：

將訓練數據輸入N+K層神經網絡，第N層神經網絡輸出第一概率分布，第N+K層神經網絡輸出第二概率分布；其中，N和K為大于0的整數，所述訓練數據為圖像數據，所述N+K層神經網絡為分類神經網絡，所述第一概率分布和所述第二概率分布包含所述圖像數據屬于各個類別的概率；

根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號，所述標簽為所述圖像數據的真實類別；

根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號；

根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡。

2.如權利要求1所述的方法，所述根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號包括：

基于所述第一概率分布和所述標簽確定第一損失函數；

基于所述第一損失函數確定第一損失幅度，將所述第一損失幅度確定為所述第一反饋信號；其中，損失幅度用于表示損失函數的損失程度。

3.如權利要求1所述的方法，所述根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號包括：

基于所述第二概率分布和所述標簽確定第二損失函數；

基于所述第二損失函數確定第二損失幅度，將所述第二損失幅度確定為所述第二反饋信號；其中，損失幅度用于表示損失函數的損失程度。

4.如權利要求2或3所述的方法，所述損失幅度為所述損失函數關于所述N+K層神經網絡的所述參數的梯度。

5.如權利要求1所述的方法，所述根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡包括：

根據所述第一反饋信號調節1～N層神經網絡的所述參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的所述參數；

判斷調節后的所述1～N層神經網絡的損失函數是否滿足預設條件；

將滿足預設條件的N層神經網絡確定為所述訓練好的N層神經網絡。

6.如權利要求1所述的方法，所述N的取值為1～5的整數。

7.如權利要求1所述的方法，所述N層神經網絡用于數據量大于1000萬條的數據的預測。

8.一種基于神經網絡進行預測的方法，包括：

采用如權利要求1所述的訓練好的N層神經網絡對目標數據進行預測，得到目標數據的目標預測結果，所述訓練好的N層神經網絡為分類神經網絡，所述目標數據為待分類的圖像，所述目標預測結果為所述待分類的圖像的類別預測結果。

9.一種訓練神經網絡的系統，包括：

概率分布輸出模塊，用于將訓練數據輸入N+K層神經網絡，第N層神經網絡輸出第一概率分布，第N+K層神經網絡輸出第二概率分布；其中，N和K為大于0的整數，所述訓練數據為圖像數據，所述N+K層神經網絡為分類神經網絡，所述第一概率分布和所述第二概率分布包含所述圖像數據屬于各個類別的概率；

反饋信號確定模塊，用于根據所述第一概率分布與所述訓練數據的標簽，確定第一反饋信號；根據所述第二概率分布與所述訓練數據的標簽，確定第二反饋信號，所述標簽為所述圖像數據的真實類別；

參數調整模塊，用于根據所述第一反饋信號調節1～N層神經網絡的參數，以及根據所述第二反饋信號調節1～N+K層神經網絡的參數，得到訓練好的N層神經網絡。

10.如權利要求9所述的系統，所述反饋信號確定模塊用于：

基于所述第一概率分布和所述標簽確定第一損失函數；

基于所述第一損失函數確定第一損失幅度，將所述第一損失幅度確定為所述第一反饋信號；其中，損失幅度用于表示損失函數的損失程度。