[發明專利]一種實現連續學習的神經網絡模型的訓練方法、裝置和電子設備

在審

• 申請號: 202110686037.4
• 申請日: 2021-06-21
• 公開（公告）號: CN115511042A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 尚大山;張握瑜;李熠
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/62
• 代理公司: 北京知迪知識產權代理有限公司 11628
• 代理人: 王勝利

1.一種實現連續學習的神經網絡模型的訓練方法，其特征在于，包括：

獲取神經網絡模型的歷史浮點權重；

對所述歷史浮點權重進行二值化處理，確定歷史二值權重；

利用所述神經網絡模型的所述歷史二值權重處理訓練樣本，獲得歷史二值權重的誤差；

基于所述歷史浮點權重和所述歷史二值權重的誤差，確定當前實際浮點權重；

根據所述當前實際浮點權重調節所述神經網絡模型的浮點權重。

2.根據權利要求1所述的方法，其特征在于，所述利用所述神經網絡模型的所述歷史二值權重處理訓練樣本，獲得歷史二值權重的誤差，包括：

利用所述神經網絡模型的歷史二值權重處理訓練樣本，獲得樣本損失；

根據所述樣本損失確定所述歷史二值權重的誤差。

3.根據權利要求1所述的方法，其特征在于，所述基于所述歷史浮點權重和所述歷史二值權重的誤差，確定當前實際浮點權重，包括：

在所述歷史二值權重的誤差和所述歷史二值權重符號相同的情況下，確定所述歷史浮點權重與所述歷史二值權重的誤差之和為所述當前實際浮點權重。

4.根據權利要求1所述的方法，其特征在于，所述基于所述歷史浮點權重和所述歷史二值權重的誤差，確定當前實際浮點權重，包括：

在所述歷史二值權重的誤差和所述歷史二值權重符號相反、且所述歷史二值權重的誤差小于權重誤差閾值的情況下，確定所述歷史浮點權重與所述歷史二值權重的誤差之和為所述當前實際浮點權重。

5.根據權利要求1所述的方法，其特征在于，所述基于所述歷史浮點權重和所述歷史二值權重的誤差，確定當前實際浮點權重，包括：

在所述歷史二值權重的誤差和所述歷史二值權重符號相反、且所述歷史二值權重的誤差大于權重誤差閾值的情況下，獲取所述歷史二值權重的誤差對應的誤差權重預設值；

確定所述歷史浮點權重與所述誤差權重預設值之和為所述當前實際浮點權重。

6.根據權利要求1所述的方法，其特征在于，若所述神經網絡模型的損失函數收斂，所述根據所述當前實際浮點權重調節所述神經網絡模型的浮點權重，包括：

確定所述神經網絡模型的浮點權重為所述當前實際浮點權重。

7.根據權利要求1所述的方法，其特征在于，若所述神經網絡模型的損失函數未收斂，所述根據所述當前實際浮點權重調節所述神經網絡模型的浮點權重，包括：

根據所述當前實際浮點權重更新所述神經網絡模型的初始浮點權重。

8.一種實現連續學習的神經網絡模型的訓練裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取神經網絡模型的歷史浮點權重；

第一確定模塊，用于對所述歷史浮點權重進行二值化處理，確定歷史二值權重；

獲得模塊，用于利用所述神經網絡模型的所述歷史二值權重處理訓練樣本，獲得歷史二值權重的誤差；

第二確定模塊，用于基于所述歷史浮點權重和所述歷史二值權重的誤差，確定當前實際浮點權重；

調節模塊，用于根據所述當前實際浮點權重調節所述神經網絡模型的浮點權重。

9.根據權利要求8所述的實現連續學習的神經網絡模型的訓練裝置，其特征在于，所述獲得模塊包括：

獲得子模塊，用于利用所述神經網絡模型的歷史二值權重處理訓練樣本，獲得樣本損失；

第一確定子模塊，用于根據所述樣本損失確定所述歷史二值權重的誤差。

10.一種電子設備，其特征在于，包括：一個或多個處理器；和其上存儲有指令的一個或多個機器可讀介質，當由所述一個或多個處理器執行時，使得所述裝置執行權利要求8-9任一所述的實現連續學習的神經網絡模型的訓練裝置。