[發明專利]人工神經網絡調整方法和裝置

有效

• 申請號: 201810550168.8
• 申請日: 2018-05-31
• 公開（公告）號: CN110555508B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 高梓桁
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

1.一種調整人工神經網絡(ANN)的方法，其中所述ANN至少包括多個層，所述方法包括：

獲取待訓練的神經網絡模型；

使用高比特定點量化來對所述神經網絡模型進行訓練，以獲得經訓練的高比特定點量化神經網絡模型；

使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型；以及

輸出所述經訓練的帶低比特定點量化的神經網絡模型。

2.如權利要求1所述的方法，其中，使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：

基于預定規則以逐漸降低的比特對所述高比特定點量化神經網絡模型進行迭代微調。

3.如權利要求2所述的方法，其中，基于預定規則以逐漸降低的比特對所述高比特定點量化神經網絡模型進行迭代微調包括：

逐位降低對初始高比特定點量化神經網絡模型進行微調的定點比特數，直至目標低比特位寬為止，以獲得經訓練的目標低比特定點量化的神經網絡模型。

4.如權利要求3所述的方法，其中，初始高比特位寬是所述目標低比特位寬的整數倍。

5.如權利要求1所述的方法，其中，使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：

在使用特定低比特進行微調時，基于預定規則從神經網絡模型的低層到高層逐步降低位寬至所述特定低比特，以獲得經訓練的帶該特定低比特定點量化的神經網絡模型。

6.如權利要求1所述的方法，其中，以低學習率的定點梯度來對所述神經網絡模型進行訓練，所述梯度的定點位寬與所述神經網絡模型的當前定點位寬相同。

7.如權利要求6所述的方法，其中，所述高比特定點量化時的學習率要大于所述低比特定點量化時的學習率。

8.如權利要求1所述的方法，其中，基于訓練時激活值在每一層的取值分布范圍，確定所述激活值在訓練時針對該層的定點量化規則。

9.如權利要求1所述的方法，其中，獲得經訓練的帶低比特定點量化的神經網絡模型包括：

確定針對所述帶低比特定點量化的神經網絡模型中多個層輸出的激活值的定點量化規則，其中，所述定點量化規則是通過向權重參數定點的神經網絡模型中輸入包括多個測試圖的校準數據集，并基于每個測試圖在每一層輸出的激活值而確定的。

10.如權利要求1所述的方法，其中，定點量化包括對權重參數、梯度值和激活值的定點量化，并且基于所述權重參數和激活值的分布確定各層的定點量化規則，所述定點量化規則包括定點倍率和定點方式，所述定點方式包括線性定點和對數定點。

11.如權利要求10所述的方法，其中，對梯度值進行對數定點量化，對權重參數和激活值進行線性定點量化。

12.如權利要求1所述的方法，其中，使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：

保留特定層的高比特位寬。

13.如權利要求12所述的方法，其中，所述特定層包括所述神經網絡模型的最后一層分類器層。

14.如權利要求1所述的方法，還包括：

在至少部分包括FPGA、GPU和/或ASIC的定點計算平臺上使用輸出的所述經訓練的帶低比特定點量化的神經網絡模型執行推理。

15.如權利要求14所述的方法，其中，所述低比特定點量化的位寬由所述FPGA、GPU和/或ASIC規定的位寬決定。