[發明專利]一種神經網絡全量化方法及系統

在審

• 申請號: 202011043841.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112183726A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 崔鑫
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種神經網絡全量化方法，其特征在于，包括：

響應于經過訓練的神經網絡完成對數據集的處理，統計分析所述神經網絡中每路數據的分布，確定所述每路數據的縮放因子；

根據所述每路數據的縮放因子，確定所述神經網絡中每一層的量化參數。

2.根據權利要求1所述的一種神經網絡全量化方法，其特征在于，所述統計分析所述神經網絡中每路數據的分布，確定所述每路數據的縮放因子，具體包括：

對于所述神經網絡中每一個卷積層中的一個神經元，將輸入該神經元的每路數據中絕對值最大的一路數據對應的縮放因子作為輸入該神經元的每路數據的縮放因子。

3.根據權利要求1所述的一種神經網絡全量化方法，其特征在于，所述縮放因子包括用于對輸入神經網絡的原始數據進行量化的預處理縮放因子；

對于第一層神經網絡，所述根據所述每路數據的縮放因子，確定所述神經網絡中每一層的量化參數，具體包括：

根據所述預處理縮放因子，確定用于替換所述預處理縮放因子的整型數據和相應的移位位數。

4.根據權利要求1所述的一種神經網絡全量化方法，其特征在于，所述縮放因子包括用于對神經網絡的卷積層中的每個卷積模塊的輸入數據、權重、偏置和輸出數據進行量化的第一輸入縮放因子、權重縮放因子、偏置縮放因子和第一輸出縮放因子；

對于所述神經網絡中的卷積層，所述根據所述每路數據的縮放因子，確定所述神經網絡中每一層的量化參數，具體包括：

根據所述第一輸入縮放因子、權重縮放因子和第一輸出縮放因子,確定一個浮點型的卷積模塊縮放因子；

將所述浮點型的卷積模塊縮放因子替換為整型數據和相應的移位位數。

5.根據權利要求1至4任一項所述的一種神經網絡全量化方法，其特征在于，所述縮放因子包括用于對神經網絡的非卷積層的輸入數據和輸出數據進行量化的第二輸入縮放因子和第二輸出縮放因子；

對于所述神經網絡中的非卷積層，所述根據所述每路數據的縮放因子，確定所述神經網絡中每一層的量化參數，具體包括：

若所述非卷積模塊的輸入縮放因子和輸出縮放因子相同，則選取所述非卷積層中的非卷積模塊輸出到下級模塊中最近的卷積模塊的多路輸出中的最大的第二輸出縮放因子，作為所述非卷積模塊的輸出縮放因子；若所述非卷積模塊的下級模塊中沒有卷積模塊，則設置所述非卷積模塊的輸出縮放因子為1.0，即輸出數據為浮點型；

若所述非卷積模塊的輸入縮放因子和輸出縮放因子不同，則將所述非卷積模塊的輸入縮放因子轉換成所述輸出縮放因子。

6.一種神經網絡全量化系統，其特征在于，包括：

統計模塊，用于響應于經過訓練的神經網絡完成對數據集的處理，統計分析所述神經網絡中每路數據的分布，確定所述每路數據的縮放因子；

確定模塊，用于根據所述每路數據的縮放因子，確定所述神經網絡中每一層的量化參數。

7.根據權利要求6所述的一種神經網絡全量化系統，其特征在于，所述統計模塊，具體用于：

對于所述神經網絡中每一個卷積層中的一個神經元，將輸入該神經元的每路數據中絕對值最大的一路數據對應的縮放因子作為輸入該神經元的每路數據的縮放因子。

8.根據權利要求6所述的一種神經網絡全量化系統，其特征在于，所述縮放因子包括用于對輸入神經網絡的原始數據進行量化的預處理縮放因子；

對于第一層神經網絡，所述確定模塊，具體用于：

根據所述預處理縮放因子，確定用于替換所述預處理縮放因子的整型數據和相應的移位位數。