[發明專利]神經網絡模型量化方法及裝置、存儲介質及電子設備

在審

• 申請號: 202211539211.3
• 申請日: 2022-12-01
• 公開（公告）號: CN115936092A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳臘梅
• 申請（專利權）人: OPPO（重慶）智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

1.一種神經網絡模型量化方法，其特征在于，包括：

獲取待量化神經網絡模型和訓練數據；

利用所述訓練數據對所述待量化神經網絡模型進行預設數次的量化感知迭代訓練；

獲取初始量化參數，并利用第一次至第N次迭代訓練得到的量化參數更新所述初始量化參數；

在每次迭代后根據所述初始量化參數更新所述待量化神經網絡模型權重，以得到目標神經網絡模型；

其中，N為大于或等于1且小于或等于所述預設次數的正整數。

2.根據權利要求1所述的方法，其特征在于，所述量化參數包括激活值，所述獲取初始量化參數，并利用第一次至第N次迭代訓練得到的量化參數更新所述初始量化參數，包括：

設定第一更新比例和第二更新比例；

根據所述每一次迭代的激活值、所述迭代次數N、所述第一更新比例和第二更新比例更新所述初始激活值范圍。

3.根據權利要求1所述的方法，其特征在于，根據所述每一次迭代的激活值、所述迭代次數N、所述第一更新比例和第二更新比例更新所述初始量化參數，包括：

確定所述第一次至第N次迭代訓練得到的量化參數中大于所述初始量化參數的第一數量；

確定所述第一次至第N次迭代訓練得到的量化參數中小于所述初始量化參數的第二數量；

響應所述第一數量與所述迭代次數N的比值大于所述第一更新比例，利用所述第一次至第N次迭代訓練得到的量化參數的平均值增大所述初始量化參數；

響應所述第二數量與所述迭代次數N的比值大于所述第二更新比例，利用所述第一次至第N次迭代訓練得到的量化參數的平均值減小所述初始量化參數。

4.根據權利要求3所述的方法，其特征在于，所述利用所述第一次至第N次迭代訓練得到的量化參數的平均值更新所述初始量化參數：

分別確定所述初始量化參數與所述平均值的更新權重；

利用所述更新權重、所述初始量化參數以及所述平均值更新所述初始量化參數。

5.根據權利要求2所述的方法，其特征在于，根據所述每一次迭代的激活值、所述迭代次數N、所述第一更新比例和第二更新比例更新所述初始量化參數，包括：

確定所述第一次至第N次迭代訓練得到的量化參數中大于所述初始量化參數的第一數量；

確定所述第一次至第N次迭代訓練得到的量化參數中小于所述初始量化參數的第二數量；

響應所述第一數量與所述迭代次數N的比值大于所述第一更新比例，利用預設更新系數增大所述初始量化參數；

響應所述第二數量與所述迭代次數N的比值大于所述第二更新比例，利用預設更新系數減小所述初始量化參數。

6.根據權利要求3-5任一項所述的方法，其特征在于，所述方法還包括：

響應對所述初始量化參數更新，將所述迭代次數N、所述第一數量以及所述第二數量復位。

7.根據權利要求1所述的方法，其特征在于，所述獲取待量化神經網絡模型包括：

獲取浮點型預訓練神經網絡模型；

確定預設量化精度，并根據所述預設量化精度對所述預訓練神經網絡模型進行量化得到待量化神經網絡模型。

8.根據權利要求7所述的方法，其特征在于，所述根據所述預設量化精度對所述預訓練神經網絡模型進行量化得到待量化神經網絡模型，包括：

根據所述預設量化精度確定中間量化位數；

根據所述量化位數對所述預訓練神經網絡模型進行量化得到待量化神經網絡模型。

9.根據權利要求7所述的方法，其特征在于，所述根據所述預設量化精度對所述預訓練神經網絡模型進行量化得到待量化神經網絡模型，包括：

確定所述預訓練神經網絡模型中各層網絡的量化范圍；

根據所述預設量化精度和所述量化范圍對所述預訓練神經網絡模型中的至少一層網絡進行量化得到待量化神經網絡模型。