[發(fā)明專利]一種神經網絡訓練方法

有效

• 申請?zhí)枺?/td>: 201410360578.8
• 申請日: 2014-07-25
• 公開（公告）號: CN104134091B
• 公開（公告）日: 2017-01-18
• 發(fā)明（設計）人: 劉龍;高偉杰;周玉
• 申請（專利權）人: 海信集團有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 黃志華

1.一種神經網絡訓練方法，其特征在于，包括以下步驟：

利用n個樣本對神經網絡進行迭代，在第k次迭代之后執(zhí)行：

獲取神經網絡基于第k次迭代過程所使用的學習率對n個樣本進行迭代后輸出的n*m個標簽值預測值；其中，每個樣本對應m個標簽值預測值，每個樣本的m個標簽值預測值包括第一標簽值預測值至第m標簽值預測值；其中，n、m、k均為正整數，k大于1；

針對第一至第m標簽值預測值中的每個標簽值預測值，計算第一參數，其中，第i標簽值的第一參數為所述n個樣本的第i標簽值預測值與第i標簽值真實值之間的誤差的平均值，i的取值范圍為[1，m]；

根據所述第一參數調整所述神經網絡的第k+1次迭代過程所使用的學習率。

2.如權利要求1所述的方法，其特征在于，所述根據第一參數調整所述神經網絡的第k+1次迭代過程所使用的學習率，包括：

根據所述第一參數計算第二參數；其中，第i標簽的第二參數為所述第i標簽值的第一參數的方差；

根據所述第一參數和第二參數調整所述神經網絡的第k+1次迭代過程所使用的學習率。

3.如權利要求2所述的方法，其特征在于，所述根據第一參數和第二參數調整所述神經網絡的第k+1次迭代過程所使用的學習率，包括：

針對第一至第m標簽值預測值中的每個標簽值預測值，根據第k-1次迭代過程中計算得到的第一參數與第二參數以及第k次迭代過程中計算得到的第一參數與第二參數，計算第三參數和第四參數；其中，第三參數為第k-1次迭代與第k次迭代過程中每個標簽值的第一參數的差值的平均值，所述第四參數為第k-1次迭代與第k次迭代過程中每個標簽值的第二參數的差值的平均值；

根據所述第二參數、第三參數、第四參數調整所述神經網絡的第k+1次迭代過程所使用的學習率；或

根據所述第一參數、第二參數、第三參數、第四參數調整所述神經網絡的第k+1次迭代過程所使用的學習率。

4.如權利要求3所述的方法，其特征在于，所述根據第二參數、第三參數、第四參數調整所述神經網絡的第k+1次迭代過程所使用的學習率，包括：

統計所述第二參數、第三參數、第四參數與相應閾值的比較結果，根據統計結果調整所述神經網絡的第k+1次迭代過程所使用的學習率；

所述根據第一參數、第二參數、第三參數、第四參數調整所述神經網絡的第k+1次迭代過程所使用的學習率包括：統計所述第一參數、第二參數、第三參數、第四參數與相應閾值的比較結果，根據統計結果調整所述神經網絡的第k+1次迭代過程所使用的學習率。

5.如權利要求3所述的方法，其特征在于，統計所述第二參數、第三參數、第四參數與相應閾值的比較結果，包括：

若所述第二參數小于第二閾值，則將第二計數器的數值加1；

若所述第三參數小于第三閾值，且第四參數小于第四閾值，則將第三計數器的數值加1；

根據統計結果調整所述神經網絡的第k+1次迭代過程所使用的學習率，具體包括：

若滿足以下條件，則將所述神經網絡的第k+1次迭代過程所使用的學習率調低，并將所述第二計數器清零：

所述第二計數器的數值不大于第二數值；且

所述第三計數器的數值小于第三數值。

6.如權利要求3所述的方法，其特征在于，統計所述第一參數、第二參數、第三參數、第四參數與相應閾值的比較結果，包括：

若所述第一參數小于第一閾值，則將第一計數器的數值加1；

若所述第二參數小于第二閾值，則將第二計數器的數值加1；

若所述第三參數小于第三閾值，且第四參數小于第四閾值，則將第三計數器的數值加1；

根據統計結果調整所述神經網絡的第k+1次迭代過程所使用的學習率，具體包括：

若滿足以下條件，則將所述神經網絡的第k+1次迭代過程所使用的學習率調低，并將所述第一計數器和所述第二計數器清零：

第一計數器的數值不大于第一數值，和/或所述第二計數器的數值不大于第二數值；且

所述第三計數器的數值小于第三數值。