[發明專利]量化處理方法和裝置、量化處理芯片

有效

• 申請號: 202110570946.1
• 申請日: 2021-05-25
• 公開（公告）號: CN113282535B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 張行程;姚超;吉小洪
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/04;G06N3/063
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種量化處理方法，其特征在于，所述方法包括：

基于神經網絡的網絡層各通道的網絡參數的分布特征，確定用于對所述各通道的網絡參數進行量化處理的初始量化參數；

基于預先建立的層量化硬件部署條件，從各通道對應的搜索空間內，搜索各通道對應的優化量化參數，所述通道對應的搜索空間基于所述通道的初始量化參數確定；

基于各通道的優化量化參數確定對各通道的網絡參數進行縮放處理的縮放比例；對各通道縮放后的網絡參數進行縮放處理，得到縮放網絡參數，各通道的縮放網絡參數的分布特征相同；將各通道的優化量化參數以及各通道的縮放網絡參數發送至量化處理芯片，以使所述量化處理芯片基于各通道的優化量化參數對各通道的縮放網絡參數進行量化處理，得到量化縮放網絡參數，并基于各通道的縮放比例對所述量化縮放網絡參數進行縮放還原處理，得到各通道的量化網絡參數，以使所述量化處理芯片基于各通道的優化量化參數對各通道的網絡參數進行量化處理，得到各通道的量化網絡參數。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

從所述神經網絡中的BatchNorm層獲取所述神經網絡的網絡層各通道的分布特征。

3.根據權利要求1所述的方法，其特征在于，所述分布特征包括所述網絡層每個通道的網絡參數的方差，一個通道的初始量化參數等于該通道的網絡參數的方差與預設常數的乘積。

4.根據權利要求3所述的方法，其特征在于，所述預設常數與所述網絡參數的量化位深以及所述網絡參數的分布特征相關。

5.根據權利要求1所述的方法，其特征在于，所述網絡層包括卷積層；所述通道的量化網絡參數包括所述通道的量化輸入參數、量化輸出參數以及量化卷積核參數；所述網絡層的層量化硬件部署條件為：

所述卷積層各通道的偏差卷積結果與所述通道的偏差量化輸出參數的比值相等，所述通道的偏差卷積結果通過對所述通道的偏差量化輸入參數與偏差量化卷積核參數進行卷積處理得到；

所述偏差量化輸出參數等于量化輸出參數與所述量化輸出參數之和，所述偏差量化輸入參數等于量化輸入參數與所述量化輸入參數之和，所述偏差量化卷積核參數等于量化卷積核參數與所述量化卷積核參數之和。

6.根據權利要求1所述的方法，其特征在于，所述基于各通道的優化量化參數確定對各通道的網絡參數進行縮放處理的縮放比例，包括：

確定各通道的優化量化參數的最大值；

將所述最大值與所述通道的優化量化參數的比值，確定為所述通道的縮放比例。

7.根據權利要求1-6任一所述的方法，其特征在于，所述基于預先建立的層量化硬件部署條件，從各通道對應的搜索空間內，搜索各通道對應的優化量化參數，包括：

按照預設的步長對各通道對應的搜索空間進行搜索，得到目標量化參數；

將符合所述層量化硬件部署條件的目標量化參數確定為所述優化量化參數。

8.根據權利要求7所述的方法，其特征在于，所述將符合所述層量化硬件部署條件的目標量化參數確定為所述優化量化參數，包括：

在符合所述層量化硬件部署條件的目標量化參數的數量大于1的情況下，分別基于各個目標量化參數對所述網絡參數進行量化處理，得到目標量化網絡參數；

確定所述目標量化網絡參數與所述網絡參數之間的誤差；

將誤差最小的目標網絡參數對應的目標量化參數確定為所述優化量化參數。