[發明專利]一種模型量化方法及其裝置

在審

• 申請號: 202310220550.3
• 申請日: 2023-02-27
• 公開（公告）號: CN116151326A
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 劉振華;韓凱;王云鶴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084;G06V20/58;G06V10/764;G06V10/82;G06V20/10;G06F16/35;G06V40/10;G06T3/00;G06N5/045
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳欣蔚

本申請公開了一種模型量化方法，涉及人工智能領域，所述方法包括：獲取神經網絡的第一參數；根據所述第一參數的數值分布，確定量化截斷區間，所述量化截斷區間包括上界閾值和下界閾值，其中，所述第一參數中數值小于所述下界閾值的參數數量、所述第一參數中數值大于所述下界閾值且小于所述上界閾值的參數數量、以及所述第一參數中數值大于所述上界閾值的參數數量三者之間的差異小于閾值；根據所述量化截斷區間，對所述第一參數進行三值量化。本申請使得第一參數中分別屬于上述三個量化區間內的參數數量相同或近似相同，進而增加了三值神經網絡的表達能力，從而提升量化模型的精度。

技術領域

本申請涉及人工智能領域，尤其涉及一種模型量化方法及其裝置。

背景技術

神經網絡模型(尤其是實現視覺相關任務的模型)在實際運行的時候需要大量的內存空間和計算資源，這使得將它們部署到移動設備上非常困難。

為了提升運行效率，通過各種不同的方法用于壓縮模型的尺寸，如網絡剪枝、模型量化、輕量級架構設計和知識蒸餾。在這些方法中，模型量化是對現有人工智能加速芯片相對更優的技術，因為這些芯片通常專注于低精度的計算，從而可以顯著降低模型推理的時延、內存占用以及功耗。然而，現有技術中通過模型量化方法得到的壓縮后的模型的精度較低。

發明內容

本申請提供了一種模型量化方法以及相關裝置，可以提高網絡的精度。

第一方面，本申請實施例提供了一種模型量化方法，方法包括：獲取神經網絡的第一參數；第一參數包括神經網絡中中間層的權重矩陣或者中間層輸出的特征圖；根據第一參數的數值分布，確定量化截斷區間，量化截斷區間包括上界閾值和下界閾值，其中，第一參數中數值小于下界閾值的參數數量、第一參數中數值大于下界閾值且小于上界閾值的參數數量、以及第一參數中數值大于上界閾值的參數數量三者之間的差異小于閾值；根據量化截斷區間，對第一參數進行三值量化，得到量化后的神經網絡。

通過上述方式，在根據第一參數的數值分布，確定截斷區間時，可以使得截斷區間滿足：使得第一參數中分別屬于上述三個量化區間內的參數數量相同或近似相同，進而增加了三值神經網絡的表達能力，從而提升量化模型的精度。

在一種可能的實現中，第一參數滿足高斯分布，數值分布包括第一參數的均值和方差，上界閾值為均值和第一數值的加和結果，第一數值為方差與預設比例的乘積，下界閾值為均值和第一數值的差值結果。可選的，預設比例為0.43。

由高斯分布的性質可知，處于[-0.43σ，0.43σ]之間的參數數量占整體的約1/3(σ為方差)，因此落入三個量化區間的浮點數的數量是相等的。

在一種可能的實現中，根據量化截斷區間，對第一參數進行三值量化之后，方法還包括：對量化后的神經網絡進行訓練，并更新上界閾值和下界閾值，以得到更新后的上界閾值和更新后的下界閾值。

在一種可能的實現中，根據量化截斷區間，對第一參數進行三值量化，包括：根據量化截斷區間，通過第一預設方式，對第一參數進行三值量化；其中，第一預設方式包括：數值小于下界閾值的參數被量化為第一量化系數，數值大于上界閾值的參數被量化為第二量化系數；方法還包括：對量化后的神經網絡進行訓練，并更新第一量化系數和第二量化系數，以得到更新后的第一量化系數和更新后的第二量化系數。本申請實施例中，使用可學習的量化系數(第一量化系數和第二量化系數)可以進一步增加三值神經網絡的表達能力。

在一種可能的實現中，第一量化系數和第二量化系數為相反數，對硬件實現更為友好。

在一種可能的實現中，第一參數包括神經網絡中中間層的權重矩陣以及中間層輸出的特征圖；對量化后的神經網絡進行訓練，包括：以神經網絡為老師模型，對量化后的神經網絡進行訓練，并更新量化后的神經網絡中中間層的權重矩陣，得到第一神經網絡；以神經網絡為老師模型，對第一神經網絡進行訓練，并更新第一神經網絡中中間層的權重矩陣以及中間層輸出的特征圖進行更新，得到第二神經網絡。