[發(fā)明專利]模型的量化訓(xùn)練方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910875016.X
• 申請日: 2019-09-17
• 公開（公告）號: CN110610237A
• 公開（公告）日: 2019-12-24
• 發(fā)明（設(shè)計）人: 謝思敏
• 申請（專利權(quán)）人: 普聯(lián)技術(shù)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 44414 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司
• 代理人: 劉永康

1.一種模型的量化訓(xùn)練方法，所述方法用于對計算機視覺深度學(xué)習(xí)模型量化，其特征在于，包括：

在每一次模型迭代訓(xùn)練時，根據(jù)所述模型權(quán)重或激活值的數(shù)值分布特點確定量化參數(shù)；所述激活值表示由像素點組成的特征圖；

根據(jù)所述量化參數(shù)量化所述模型的每一層權(quán)重和激活值，得到權(quán)重量化值和激活量化值；

采用所述權(quán)重量化值和所述激活量化值進行前向運算，以進行圖像分析輸出下一所述激活值；

根據(jù)所述權(quán)重量化值和所述激活量化值反向計算所述模型的梯度，以通過所述梯度調(diào)整所述模型權(quán)重。

2.如權(quán)利要求1所述的模型的量化訓(xùn)練方法，其特征在于，所述根據(jù)所述模型權(quán)重或激活值的數(shù)值分布特點確定量化參數(shù)，包括：

選取所述模型的所有權(quán)重或激活值的絕對值中最大值；

根據(jù)所述最大值確定動態(tài)定點位置P，以使所述權(quán)重量化值和所述激活量化值在范圍[-2^p+7,2^p+7)內(nèi)表示。

3.如權(quán)利要求1所述的模型的量化訓(xùn)練方法，其特征在于，所述根據(jù)所述模型權(quán)重或激活值的數(shù)值分布特點確定量化參數(shù)，包括：

獲取所述模型中每一權(quán)重或激活值的定點位置；

根據(jù)所述模型的權(quán)重或激活值的定點位置分布狀態(tài)，確定滿足預(yù)設(shè)范圍內(nèi)的權(quán)重或激活值數(shù)量最多的定點位置p為動態(tài)定點位置。

4.如權(quán)利要求2或3所述的模型的量化訓(xùn)練方法，其特征在于，所述根據(jù)所述量化參數(shù)量化所述模型的每一層權(quán)重和激活值，得到權(quán)重量化值和激活量化值，包括：

根據(jù)所述動態(tài)定點位置P確定動態(tài)縮放因子2^p；

根據(jù)所述動態(tài)縮放因子與量化值的關(guān)系分別對所述權(quán)重和所述激活值進行量化，得到權(quán)重量化值和激活量化值；其中，

所述動態(tài)縮放因子與量化值的關(guān)系為：Q_int-k＝round(W_flt-k*2^-P)；

Q_int-k為所述模型的每一層第k個權(quán)重的權(quán)重量化值或第k個激活值的激活量化值；W_flt-k為第k個權(quán)重或激活值的浮點值；2^p為動態(tài)縮放因子。

5.如權(quán)利要求2所述的模型的量化訓(xùn)練方法，其特征在于，所述根據(jù)所述最大值確定動態(tài)定點位置P，以使所述權(quán)重量化值和所述激活量化值在范圍[-2^p+7,2^p+7)內(nèi)表示，包括：

計算以2為底的所述最大值的對數(shù)；

確定不小于所述對數(shù)的下一整數(shù)與7的差值為動態(tài)定點位置P。

6.如權(quán)利要求3所述的模型的量化訓(xùn)練方法，其特征在于，所述獲取所述模型中每一權(quán)重或激活值的定點位置，包括：

對于所述模型中每一權(quán)重或激活值，獲取所述權(quán)重或所述激活值的浮點值；

根據(jù)浮點值與定點位置的關(guān)系，得到所述權(quán)重或所述激活值對應(yīng)的定點位置；其中，

所述浮點值與所述定點位置的關(guān)系為：W_int-k＝round(W_flt-k*2^-position)；

W_int-k為權(quán)重或激活值的定點值；W_flt-k為權(quán)重或激活值的浮點值；_position為定點位置。

7.一種模型的量化訓(xùn)練裝置，其特征在于，包括：

量化參數(shù)確定模塊，用于在每一次模型迭代訓(xùn)練時，根據(jù)所述模型權(quán)重或激活值的數(shù)值分布特點確定量化參數(shù)；所述激活值表示由像素點組成的特征圖；

量化模塊，用于根據(jù)所述量化參數(shù)量化所述模型的每一層權(quán)重和激活值，得到權(quán)重量化值和激活量化值；

前向運算模塊，用于采用所述權(quán)重量化值和所述激活量化值進行前向運算，以進行圖像分析輸出下一所述激活值；

梯度計算模塊，用于根據(jù)所述權(quán)重量化值和所述激活量化值反向計算所述模型的梯度，以通過所述梯度調(diào)整所述模型權(quán)重。