[發(fā)明專利]一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法及其裝置

在審

• 申請?zhí)枺?/td>: 202011630360.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112686384A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設計）人: 岳濤;趙思杰;胡雪梅
• 申請（專利權(quán)）人: 南京大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F17/15;G06F17/18
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

1.一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，包括以下步驟：

(1)最小化量化期望均方誤差，得到在不同量化比特數(shù)情況下的量化策略，并建立量化等級關于量化比特數(shù)的查找表；

(2)初始化神經(jīng)網(wǎng)絡的權(quán)重參數(shù)及量化比特數(shù)；

(3)通過步驟(1)的查找表和量化比特數(shù)對所述神經(jīng)網(wǎng)絡的權(quán)重參數(shù)進行多比特量化；

(4)利用量化后的權(quán)重參數(shù)進行前向和反向傳播；

(5)計算量化敏感度并進行累計，得到累計敏感度；

(6)使用所述累計敏感度調(diào)整權(quán)重參數(shù)的量化比特數(shù)，并重復步驟(3)～(6)直到量化訓練完成；

(7)在完成量化訓練后對多比特二值網(wǎng)絡進行部署。

2.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(1)中，利用暴力搜索算法對量化策略求解，具體步驟為：在高斯分布和拉普拉斯分布的假設下，在不同的量化比特下，遍歷比例因子的可能解，由此計算得到量化等級和量化區(qū)間，使用量化等級、量化區(qū)間和假設分布的概率密度函數(shù)進行積分得到量化期望均方誤差，找到對應于最小量化期望均方誤差的量化等級，最終建立在不同分布和不同量化比特數(shù)情況的查找表。

3.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(2)中，所有量化比特數(shù)被統(tǒng)一初始化為定值。

4.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(3)中，根據(jù)權(quán)重參數(shù)的量化比特數(shù)，通過查找所述查找表，找到對應于該量化比特數(shù)下的量化等級，然后將權(quán)重參數(shù)進行標準化，再根據(jù)量化等級進行量化投影，最后進行去標準化。

5.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(4)中，使用量化后的權(quán)重參數(shù)進行前向傳播，并通過反向傳播獲得權(quán)重參數(shù)的梯度，使用梯度對原權(quán)重參數(shù)進行更新。

6.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(5)中，將原權(quán)重參數(shù)與量化后的權(quán)重參數(shù)相減，然后與權(quán)重參數(shù)的梯度進行點積運算，最后取絕對值再除以參數(shù)數(shù)量來表示權(quán)重參數(shù)關于損失函數(shù)的量化敏感度。

7.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(6)中，首先將累計敏感度進行升序排序，然后按照某一百分比r找到累計敏感度最小的權(quán)重參數(shù)，如果這部分權(quán)重參數(shù)量化比特數(shù)大于0，則將其減1，當權(quán)重參數(shù)的量化比特數(shù)降為0，則將該部分權(quán)重參數(shù)永久從神經(jīng)網(wǎng)絡中移除。

8.根據(jù)權(quán)利要求1所述的一種自適應比特位寬的神經(jīng)網(wǎng)絡量化方法，其特征在于，所述步驟(7)中，根據(jù)量化等級與比例因子、二值權(quán)重之間的一一對應關系，將量化權(quán)重參數(shù)分解為二值權(quán)重和比例因子，用于對多比特二值網(wǎng)絡進行部署。

9.一種自適應比特位寬的神經(jīng)網(wǎng)絡量化裝置，其特征在于，包括：

多比特量化模塊，基于高斯分布和拉普拉斯分布假設建立量化等級關于量化比特數(shù)的查找表，并在量化訓練過程中對權(quán)重參數(shù)進行多比特量化；

量化比特數(shù)調(diào)整模塊，用于獲得量化權(quán)重參數(shù)關于損失函數(shù)的敏感度并進行累計，在量化訓練過程中根據(jù)累計敏感度對權(quán)重參數(shù)的量化比特數(shù)進行調(diào)整。