[發明專利]神經網絡的訓練方法和通過該訓練方法獲得的神經網絡

有效

• 申請號: 201611079401.6
• 申請日: 2016-11-30
• 公開（公告）號: CN108122033B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 沙浩
• 申請（專利權）人: 株式會社日立制作所
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

1.一種神經網絡的訓練方法，其特征在于，所述訓練方法包括：

將一組訓練樣本輸入到所述神經網絡中，并且對輸入的所述訓練樣本重復進行多次運算處理，每次運算處理包含以下步驟：

對于所述神經網絡中的每個激活節點，根據所述每個激活節點的選擇概率值，隨機地從線性運算和非線性運算之中選擇出所述每個激活節點的第一選擇結果，并且根據所述每個激活節點的所述第一選擇結果，來對所述訓練樣本進行第一次網絡訓練，以獲得第一訓練損失值，其中所述每個激活節點的所述選擇概率值包括選擇所述線性運算的概率值和選擇所述非線性運算的概率值，并且選擇所述線性運算的概率值和選擇所述非線性運算的概率值之和等于1；

對于所述每個激活節點，根據所述每個激活節點的所述選擇概率值，隨機地從所述線性運算和所述非線性運算之中選擇出所述每個激活節點的第二選擇結果，并且根據所述每個激活節點的所述第二選擇結果，來對所述訓練樣本進行第二次網絡訓練，以獲得第二訓練損失值；

將所述第一訓練損失值與所述第二訓練損失值進行比較；

當所述第一訓練損失值小于所述第二訓練損失值時，將所述第一選擇結果與所述第二選擇結果不同的激活節點確定為感興趣節點，并且以相等的增加值，增加每個所述感興趣節點的所述第一選擇結果的概率值，以更新所述每個激活節點的所述選擇概率值；以及

當所述第二訓練損失值小于等于所述第一訓練損失值時，將所述第一選擇結果與所述第二選擇結果不同的所述激活節點確定為所述感興趣節點，并且以相等的所述增加值，增加每個所述感興趣節點的所述第二選擇結果的概率值，以更新所述每個激活節點的所述選擇概率值；

其中，所述每個激活節點的所述選擇概率值的初始值被設定成選擇所述線性運算的概率值等于選擇所述非線性運算的概率值，并且更新后的所述每個激活節點的所述選擇概率值將被用于下一次運算處理。

2.如權利要求1所述的訓練方法，其特征在于，所述增加值在0.01～0.0001的范圍內。

3.如權利要求1或2所述的訓練方法，其特征在于，所述非線性運算采用Sigmoid函數。

4.如權利要求1或2所述的訓練方法，其特征在于，所述非線性運算采用tanh函數。

5.一種神經網絡，其特征在于，所述神經網絡通過采用如權利要求1-4中任一項所述的訓練方法來獲得，并且在使用所述神經網絡時，對于所述神經網絡中的所述每個激活節點，采用所述線性運算和所述非線性運算之中概率值高的運算。