[發明專利]一種神經網絡的定點化方法、裝置

在審

• 申請號: 202010186495.7
• 申請日: 2020-03-17
• 公開（公告）號: CN113408715A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 浦世亮;陳汝丹;張淵
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

1.一種神經網絡的定點化方法，其特征在于，該方法包括，

對神經網絡進行至少如下之一低比特量化：

對神經網絡中的卷積層輸入激活值進行第一低比特量化，

對卷積層中卷積核權值進行第二低比特量化，

對神經網絡中除了卷積層之外的非卷積功能層，將非卷積功能層的輸入激活值進行第三低比特量化；

在進行所述任意低比特量化之后，基于當前低比特量化后的神經網絡，進行重訓練，

基于重訓練后的神經網絡中各低比特量化結果，進行定點化；

加載定點化后的神經網絡；

其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以內。

2.如權利要求1所述的定點化方法，其特征在于，所述對神經網絡中的卷積層輸入激活值進行第一低比特量化包括，

向神經網絡輸入訓練數據，計算出各個卷積層輸入的第一激活值；

對于任一卷積層的各個第一激活值：

根據該卷積層各個第一激活值分布，確定當前量化步長；

根據當前量化步長和第一低比特，計算用于限制該卷積層各個第一激活值取值范圍的取值上限，

根據所述取值上限，對該卷積層每個第一激活值進行取值，得到該卷積層各個第二激活值，

將該卷積層第二激活值進行量化，得到該卷積層量化后的激活值。

3.如權利要求1所述的定點化方法，其特征在于，所述對卷積層中卷積核權值進行第二低比特量化包括，

對于任一卷積層中任一輸出通道：

獲取該輸出通道對應卷積核的各個第一權值，

根據各個權值分布，確定該輸出通道的當前權值量化閾值，

基于當前權值量化閾值，獲取該輸出通道各個第一權值的當前量化權值，估計當前量化權值與第一權值的誤差，根據誤差調整所述當前量化閾值，直至當前量化權值與各個第一權值的誤差達到最小，將最小誤差所對應的量化閾值作為該輸出通道的權值量化閾值系數；

基于權值量化閾值系數，計算該輸出通道的第一幅值；

基于該輸出通道的第一幅值，采用第二低比特進行第一權值的低比特表達，得到第二權值；根據第二權值與該輸出通道的第一幅值的比較結果，對該輸出通道的權值量化閾值系數進行量化，得到該輸出通道權值量化閾值系數的系數量化值。

4.如權利要求3所述的定點化方法，其特征在于，所述根據各個權值分布，確定該輸出通道的當前量化閾值，包括，

將該輸出通道對應卷積核中的各個第一權值的平方進行累加，得到該輸出通道的累加結果，基于該輸出通道的累加結果，在指定的閾值范圍中確定當前權值量化閾值；

所述基于當前權值量化閾值，獲取該輸出通道的當前量化權值，包括，

計算該輸出通道的累加結果與該輸出通道當前權值量化閾值的乘積，得到該輸出通道當前幅值，

將該輸出通道對應的卷積核中的各個第一權值與當前幅值進行比較，

如果第一權值大于當前幅值，則將該幅值賦值給第一權值，得到當前量化權值；

如果第一權值小于負的當前幅值，則將負的幅值賦值給第一權值，得到當前量化權值；

如果第一權值大于等于負的當前幅值、且小于等于當前幅值，則將第一權值賦值為0，得到當前量化權值；

所述估計當前量化權值與第一權值的誤差，根據誤差調整所述當前量化閾值，包括，

計算該輸出通道第一權值的當前量化權值與第一權值平均誤差或累計誤差，如果誤差大于設定的誤差范圍，則重新執行所述根據各個權值分布，確定該輸出通道的當前權值量化閾值的步驟；

所述基于權值量化閾值系數，計算該輸出通道的第一幅值，包括，計算該輸出通道的累加結果與該輸出通道權值量化閾值系數的乘積，得到第一幅值。