[發明專利]一種卷積神經網絡低比特量化方法、系統及介質

在審

• 申請號: 202011552132.7
• 申請日: 2020-12-24
• 公開（公告）號: CN112668714A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 沈付旺
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 王新愛

1.一種卷積神經網絡低比特量化方法，其特征在于，包括：

訓練激活閾值以及第一權值，通過量化函數和所述激活閾值計算出特征值；

根據所述第一權值計算出轉換值；

通過所述量化函數以及所述轉換值計算第二權值，以及所述第二權值的值域；

將所述特征值和所述第二權值的值域轉化為整型；

進行推理部署，將所述第二權值的值域轉換為第一比特的范圍，并計算卷積得到第一卷積值，將所述第一卷積值進行反量化得到第二卷積值。

2.根據權利要求1所述的一種卷積神經網絡低比特量化方法，其特征在于：所述訓練激活閾值以及第一權值的步驟進一步包括：

選擇損失函數和下降系數；根據所述損失函數和所述下降系數得出所述激活閾值和所述第一權值；

通過偏導的傳遞性和直通估計算法并根據激活函數設置所述激活閾值更新條件，當所述激活函數中變量小于所述激活閾值時，不更新所述激活閾值；

當所述激活函數中變量大于所述激活閾值時，更新所述激活閾值。

3.根據權利要求2所述的一種卷積神經網絡低比特量化方法，其特征在于：所述通過量化函數和所述激活閾值計算出特征值的步驟進一步包括：

根據所述激活閾值以及所述激活函數，計算得出激活值；

根據所述激活值和所述量化函數計算得出所述特征值。

4.根據權利要求1-3任一項所述的一種卷積神經網絡低比特量化方法，其特征在于：將所述特征值和所述第二權值的值域轉化為整型的步驟進一步包括：

通過所述激活閾值計算激活值量化系數；將所述特征值乘以所述激活量化系數并取整，得出整型的特征值值域；

計算權值量化系數，將所述第二權值的值域乘以所述權值量化系數得出整型的第二權值的值域。

5.根據權利要求4所述的一種卷積神經網絡低比特量化方法，其特征在于：所述進行推理部署，將所述第二權值的值域轉換為第一比特的范圍的步驟進一步包括：判斷所述第二權值的值域是否滿足所述第一比特的范圍，

若所述第二權值的值域滿足所述第一比特的范圍，則不進行轉換；

若所述第二權值的值域不滿足所述第一比特的范圍，則通過轉換算法將所述第二權值的值域轉換為所述第一比特的范圍。

6.根據權利要求1或2或3或5所述的一種卷積神經網絡低比特量化方法，其特征在于：所述反量化包括以下步驟：

計算所述激活值量化系數和所述權值量化系數的乘積；

將所述第一卷積值除以所述乘積。

7.一種卷積神經網絡低比特量化系統，其特征在于，包括：更新模塊、激活值訓練量化模塊、創建函數模塊、權值訓練量化模塊、量化部署模塊和反量化模塊；

所述更新模塊通過損失函數以及下降系數訓練激活閾值以及第一權值；

所述激活值訓練量化模塊通過量化函數以及所述激活閾值，計算得到特征值；

所述創建函數模塊根據所述第一權值計算出轉換值；

所述權值訓練量化模塊通過量化函數將所述轉換值量化為第二權值，并計算第二權值的值域；

所述量化部署模塊將所述特征值和所述第二權值的值域轉化為整型的值域以及進行推理部署，將所述第二權值的值域轉換為第一比特的范圍，并計算卷積得到第一卷積值；

所述反量化模塊將所述第一卷積值進行反量化，得到第二卷積值。

8.根據權利要求7所述的一種卷積神經網絡低比特量化系統，其特征在于：所述量化部署模塊包括量化模塊和推理部署模塊；

所述量化模塊通過所述激活閾值計算激活值量化系數；將所述特征值乘以所述激活量化系數并取整，得出整型的特征值值域，以及計算權值量化系數，將所述第二權值的值域乘以所述權值量化系數得出整型的第二權值的值域；

所述推理部署模塊判斷所述第二權值的值域是否滿足所述第一比特的范圍，若所述第二權值的值域滿足所述第一比特的范圍，則不進行轉換；

若所述第二權值的值域不滿足所述第一比特的范圍，則通過轉換算法將所述第二權值的值域轉換為所述第一比特的范圍。

9.一種卷積神經網絡低比特量化介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如上述權利要求1-6任一項所述的一種卷積神經網絡低比特量化方法的步驟。