[發(fā)明專利]模型的量化訓練方法、裝置及存儲介質

在審

• 申請?zhí)枺?/td>: 201910875016.X
• 申請日: 2019-09-17
• 公開（公告）號: CN110610237A
• 公開（公告）日: 2019-12-24
• 發(fā)明（設計）人: 謝思敏
• 申請（專利權）人: 普聯(lián)技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 44414 深圳中一聯(lián)合知識產(chǎn)權代理有限公司
• 代理人: 劉永康

本申請屬于模型量化技術領域，提供了一種模型的量化訓練方法、裝置及存儲介質，用于對計算機視覺深度學習模型量化，該方法包括：在每一次模型迭代訓練時，根據(jù)所述模型權重或激活值的數(shù)值分布特點確定量化參數(shù)；所述激活值表示由像素點組成的特征圖；根據(jù)所述量化參數(shù)量化所述模型的每一層權重和激活值，得到權重量化值和激活量化值；采用所述權重量化值和所述激活量化值進行前向運算，以進行圖像分析輸出下一所述激活值；根據(jù)所述權重量化值和所述激活量化值反向計算所述模型的梯度，以通過所述梯度調整所述模型權重。本申請實施例通過在每次模型迭代訓練時均根據(jù)模型的權重或激活值的數(shù)值分布動態(tài)更新量化參數(shù)，解決模型的性能損失問題。

技術領域

本發(fā)明涉及模型量化的技術領域，尤其涉及一種模型的量化訓練方法、裝 置及存儲介質。

背景技術

卷積神經(jīng)網(wǎng)絡模型推理過程中，卷積和全連接是算力占用最多的算子，這 兩個算子的權重是模型中最主要的參數(shù)。在當前計算機結構中，浮點數(shù)計算的 功耗和時間都比定點數(shù)計算多。如果能夠將卷積和全連接的運算數(shù)都變?yōu)槎c 數(shù)，將大幅提升運算效率，減小功耗，減少存儲空間使用。現(xiàn)有技術中，學術 界已有將浮點模型量化為定點模型的理論。動態(tài)定點原理將一個集合中的浮點 權重，表示為定點數(shù)乘以公共的動態(tài)縮放因子，動態(tài)縮放因子限制為2的整數(shù) 次冪。根據(jù)上述理論構建低精度動態(tài)定點權重的模型訓練方法。在神經(jīng)網(wǎng)絡訓 練過程中，模型權重會隨著訓練而不斷改變。但由于量化權重的動態(tài)縮放因子中的定點位置被固定為預設范圍或初始位置，使得通過此方法訓練出來的量化 模型只能在初始選擇的定點位置基礎上得到定點模型，限制模型權值的取值范 圍，導致模型在訓練過程中無法自適應的學習最優(yōu)參數(shù)，從而造成模型的性能 損失。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供了一種模型的量化訓練方法、裝置及存儲介 質，以解決模型的性能損失問題。

本發(fā)明實施例的第一方面提供了一種模型的量化訓練方法，所述方法用于 對計算機視覺深度學習模型量化，包括：

在每一次模型迭代訓練時，根據(jù)所述模型權重或激活值的數(shù)值分布特點確 定量化參數(shù)；所述激活值表示由像素點組成的特征圖；

根據(jù)所述量化參數(shù)量化所述模型的每一層權重和激活值，得到權重量化值 和激活量化值；

采用所述權重量化值和所述激活量化值進行前向運算，以進行圖像分析輸 出下一所述激活值；

根據(jù)所述權重量化值和所述激活量化值反向計算所述模型的梯度，以通過 所述梯度調整所述模型權重。

在一個實施示例中，所述根據(jù)所述模型權重或激活值的數(shù)值分布特點確定 量化參數(shù)，包括：

選取所述模型的所有權重或激活值的絕對值中最大值；

根據(jù)所述最大值確定動態(tài)定點位置P，以使所述權重量化值和所述激活量 化值在范圍[-2^p+7,2^p+7)內(nèi)表示。

在一個實施示例中，所述根據(jù)所述模型權重或激活值的數(shù)值分布特點確定 量化參數(shù)，包括：

獲取所述模型中每一權重或激活值的定點位置；

根據(jù)所述模型的權重或激活值的定點位置分布狀態(tài)，確定滿足預設范圍內(nèi) 的權重或激活值數(shù)量最多的定點位置p為動態(tài)定點位置。

在一個實施示例中，所述根據(jù)所述量化參數(shù)量化所述權重和所述激活值， 得到權重量化值和激活量化值，包括：

根據(jù)所述動態(tài)定點位置P確定動態(tài)縮放因子2^p；

根據(jù)所述動態(tài)縮放因子與量化值的關系分別對所述權重和所述激活值進行 量化，得到權重量化值和激活量化值；其中，