[發明專利]一種神經網絡低比特量化方法

在審

• 申請號: 202011057930.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112381205A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張書瑞;歐陽鵬;尹首一
• 申請（專利權）人: 北京清微智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/06
• 代理公司: 北京索睿邦知識產權代理有限公司 11679
• 代理人: 李根

1.一種神經網絡低比特量化方法，其特征在于，包括：

S101：獲取初始神經網絡，獲取所述初始神經網絡中C個通道的權重值和偏置，每個所述通道包括一個卷積層；

S102：統計所述初始神經網絡中C個通道的輸入的最大值；

S103：根據C個通道中輸入的最大值獲取縮放因子；

S104：根據所述縮放因子和每個所述通道的權重值，量化每個通道的權重值至低比特定點權重；

S105：輸入設定數據至所述初始神經網絡進行前向計算；

S106：統計所述初始神經網絡中當前卷積層輸入絕對值的最大值，根據當前卷積層輸入絕對值的最大值，獲取浮點量化區間；

S107：重復所述S105，將當前卷積層的輸入浮點值基于所述浮點量化區間構建第一設定長度的直方圖；

S108：在所述浮點量化區間中循環遍歷設定的量化閾值，對于每一個量化閾值，將第一設定長度的所述直方圖轉化成第二設定長度的直方圖，計算KL散度，將所述KL散度最小時的量化閾值作為目標量化閾值；

S109：根據所述目標量化閾值和所述浮點量化區間，獲取所述當前卷積層的輸入量化系數；

S110：將所述當前卷積層后連接的下一個卷積層作為當前卷積層，重復所述S105至所述109以獲取所述下一個卷積層的輸入量化系數，將所述下一個卷積層的輸入量化系數作為當前卷積層的輸出量化系數；

S111：根據所述當前卷積層的輸入量化系數和所述當前卷積層的輸入浮點數據，量化所述輸入浮點數據獲取輸入定點數據；

S112：根據所述縮放因子、所述當前卷積層的輸入量化系數、所述當前卷積層的輸出量化系數和所述當前卷積層的輸出浮點數據，量化所述輸出浮點數據獲取輸出定點數據；

S113：將所述縮放因子和所述偏置分別轉化成縮放因子定點值和偏置定點值；

S114：根據所述低比特定點權重、輸入定點數據、輸出定點數據、縮放因子定點值和偏置定點值，獲取量化后的神經網絡。

2.根據權利要求1所述的神經網絡低比特量化方法，其特征在于，所述初始神經網絡包括卷積層、批量歸一化層和激活函數層；

所述S101包括：

消去所述批量歸一化層以使所述初始神經網絡的網絡結構為卷積層和激活函數層；獲取消去所述批量歸一化層后所述初始神經網絡中C個通道的權重值和偏置。

3.根據權利要求2所述的神經網絡低比特量化方法，其特征在于，所述S103中根據C個通道中輸入的最大值獲取縮放因子，包括：

根據C個通道中輸入的最大值獲取長度為C的向量；通過公式(1)計算所述縮放因子；

S^(C)＝th^C/127.0 公式(1)

其中，S^(C)表示縮放因子；th^C表示長度為C的向量。

4.根據權利要求3所述的神經網絡低比特量化方法，其特征在于，所述S104包括：

通過公式(2)量化每個通道的權重值至低比特定點權重；

其中，c∈[0，C]；W_int8為int8表示下量化后通道的權重值；RoundClip表示對計算結果四舍五入取整操作；W^(C)表示通道的權重值；S^(C)表示縮放因子。

5.根據權利要求4所述的神經網絡低比特量化方法，其特征在于，所述S109包括：

通過公式(3)計算所述輸入量化系數；

scale＝(target_th+0.5)*dist_scale/127.0 公式(3)

其中，scale記作S_pre表示輸入量化系數；target_th表示目標量化閾值；dist_scale表示浮點量化區間。