[發明專利]一種神經網絡量化方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202010143410.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111401518A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 霍成海;張楠賡
• 申請（專利權）人: 杭州嘉楠耘智信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 鐘錦舜

1.一種神經網絡量化方法，其特征在于，包括：

根據校正數據集確定神經網絡的目標網絡層的激活輸出的分布數據；

根據所述分布數據確定所述目標網絡層的目標量化范圍；

根據所述目標量化范圍和目標量化位寬對所述目標網絡層進行定點量化。

2.由權利要求1所述的方法，其特征在于，根據所述分布數據確定所述目標網絡層的目標量化范圍，包括：

在所述分布數據的兩端分別確定所述目標網絡層的激活輸出的最大值區間和最小值區間；

以所述最大值區間中每個激活輸出作為上邊界，以所述最小值區間中的每個激活輸出作為下邊界，確定多個第一量化范圍；

根據所述多個第一量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第一量化分布；

根據所述多個第一量化分布與所述分布數據的相對熵確定所述目標量化范圍。

3.由權利要求1所述的方法，其特征在于，根據所述分布數據確定所述目標網絡層的目標量化范圍，包括：

確定以所述分布數據中的最小激活輸出作為下邊界的多個第二量化范圍；

根據所述多個第二量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第二量化分布；

根據所述多個第二量化分布與所述分布數據的相對熵確定所述目標量化范圍的上邊界；

確定與所述目標量化范圍的上邊界重合的多個第三量化范圍；

根據所述多個第三量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第三量化分布；

根據所述多個第三量化分布與所述分布數據的相對熵確定所述目標量化范圍的下邊界。

4.由權利要求1所述的方法，其特征在于，根據所述分布數據確定所述目標網絡層的目標量化范圍，包括：

確定以所述分布數據中的最大激活輸出作為上邊界的多個第四量化范圍；

根據所述多個第四量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第四量化分布；

根據所述多個第四量化分布與所述分布數據的相對熵確定所述目標量化范圍的下邊界；

確定與所述目標量化范圍的下邊界重合的多個第五量化范圍；

根據所述多個第五量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第五量化分布；

根據所述多個第五量化分布與所述分布數據的相對熵確定所述目標量化范圍的上邊界。

5.由權利要求1所述的方法，其特征在于，根據所述分布數據確定所述目標網絡層的目標量化范圍，還包括：

確定所述分布數據中針對所述校正數據集中每個校正數據的激活輸出的最大值和最小值；

確定所述激活輸出的最大值均值作為所述目標量化范圍的上邊界，確定所述激活輸出的最小值均值作為所述目標量化范圍的下邊界。

6.由權利要求1所述的方法，其特征在于，在根據所述分布數據確定所述目標網絡層的目標量化范圍之前，還包括：

采用平滑窗對所述目標網絡層的激活輸出的分布數據進行滑動濾波處理。

7.一種神經網絡量化裝置，其特征在于，包括：

第一確定單元，用于根據校正數據集確定神經網絡的目標網絡層的激活輸出的分布數據；

第二確定單元，用于根據所述分布數據確定所述目標網絡層的目標量化范圍；

量化單元，用于根據所述目標量化范圍和目標量化位寬對所述目標網絡層進行定點量化。

8.由權利要求7所述的裝置，其特征在于，所述第二確定單元，還用于：

在所述分布數據的兩端分別確定所述目標網絡層的激活輸出的最大值區間和最小值區間；

以所述最大值區間中每個激活輸出作為上邊界，以所述最小值區間中的每個激活輸出作為下邊界，確定多個第一量化范圍；

根據所述多個第一量化范圍和所述目標量化位寬確定所述目標網絡層的激活輸出的多個第一量化分布；

根據所述多個第一量化分布與所述分布數據的相對熵確定所述目標量化范圍。