[發明專利]神經網絡層間激活值量化方法及裝置

在審

• 申請號: 201810218803.2
• 申請日: 2018-03-16
• 公開（公告）號: CN108537322A
• 公開（公告）日: 2018-09-14
• 發明（設計）人: 許震;王運節;張如高
• 申請（專利權）人: 新智認知數據服務有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 吳黎

1.一種神經網絡層間激活值量化方法，其特征在于，包括：

獲取神經網絡上一級激活層的激活值；

根據所述上一級激活層的激活值得到當前激活層的激活值極限；

根據所述當前激活層的激活值極限和所述上一級激活層的激活值確定當前激活層各個激活值。

2.如權利要求1所述的神經網絡層間激活值量化方法，其特征在于，所述根據所述當前激活層的激活值極限和所述上一級激活層的激活值確定當前激活層各個激活值包括：在所述當前激活層的激活值極限范圍內對所述上一級激活層的激活值進行取整得到所述當前激活層各個激活值。

3.如權利要求2所述的神經網絡層間激活值量化方法，其特征在于，所述在所述當前激活層的激活值極限范圍內對所述上一級激活層的激活值進行取整得到所述當前激活層各個激活值包括：

根據用于表征激活值的比特位數確定的步長對所述上一級激活層的激活值進行等分取整；

在所述當前激活層的激活值極限范圍內對所述等分取整后的所述上一級激活層的激活值進行計算得到所述當前激活層各個激活值。

4.如權利要求1-3任意一項所述的神經網絡層間激活值量化方法，其特征在于，所述上一級激活層的激活值包括：所述上一級激活層的最大激活值；

所述根據所述上一級激活層的激活值得到當前激活層的激活值極限包括：

對所述上一級激活層的最大激活值進行加權得到所述當前激活層的最大激活值；

根據所述當前激活層的最大激活值得到所述當前激活層的最小激活值。

5.如權利要求4所述的神經網絡層間激活值量化方法，其特征在于，所述對所述上一級激活層的最大激活值進行加權得到所述當前激活層的最大激活值采用如下公式得到：

cur_max_i＝α×cur_max_i+(1-α)×cur_max_i-1

其中，cur_max_i為當前激活層的最大激活值，α為滑動平均超參數，i為迭代次數，cur_max_i-1為上一級激活層的最大激活值。

6.如權利要求4所述的神經網絡層間激活值量化方法，其特征在于，所述根據所述當前激活層的最大激活值得到所述當前激活層的最小激活值包括：根據所述當前激活層的最大激活值采用線性或者非線性等步長的方式得到所述當前激活層的最小激活值。

7.一種神經網絡層間激活值量化裝置，其特征在于，包括：

激活值獲取模塊，用于獲取神經網絡上一級激活層的激活值；

極限確定模塊，用于根據所述上一級激活層的激活值得到當前激活層的激活值極限；

激活量化模塊，用于根據所述當前激活層的激活值極限和所述上一級激活層的激活值確定當前激活層各個激活值。

8.如權利要求7所述的神經網絡層間激活值量化裝置，其特征在于，所述激活量化模塊具體用于在所述當前激活層的激活值極限范圍內對所述上一級激活層的激活值進行取整得到所述當前激活層各個激活值。

9.如權利要求8所述的神經網絡層間激活值量化裝置，其特征在于，所述當前激活層的激活值極限包括所述當前激活層的最大激活值和所述當前激活層的最小激活值；

所述激活量化模塊包括：

等分單元，用于根據用于表征激活值的比特位數確定的步長對所述上一級激活層的激活值進行等分取整；

計算單元，用于在所述當前激活層的激活值極限范圍內對所述等分取整后的所述上一級激活層的激活值進行計算得到所述當前激活層各個激活值。

10.如權利要求7-9任意一項所述的神經網絡層間激活值量化裝置，其特征在于，所述上一級激活層的激活值包括：所述上一級激活層的最大激活值；

所述極限確定模塊包括：

最大激活值單元，用于對所述上一級激活層的最大激活值進行加權得到所述當前激活層的最大激活值；

最小激活值單元，用于根據所述當前激活層的最大激活值得到所述當前激活層的最小激活值。