[發明專利]一種模型的量化方法以及相關設備

在審

• 申請號: 202310215082.0
• 申請日: 2023-02-25
• 公開（公告）號: CN116362301A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 蔡玲玲;韓凱;付中前;王云鶴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/0495
• 分類號: G06N3/0495;G06N3/045;G06N3/048;G06N20/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳欣蔚

1.一種模型的量化方法，其特征在于，所述方法應用于利用機器學習模型進行數據處理的過程中，所述模型的量化方法包括對所述機器學習模型中的至少一個激活層生成的激活值進行量化，所述至少一個激活層包括第一激活層；其中，對所述第一激活層生成的第一激活值進行量化包括：

采用第一量化步長對所述第一激活值中的第一子激活值進行量化；

采用第二量化步長對所述第一激活值中的第二子激活值進行量化，其中，所述機器學習模型包括多個通道，所述多個通道包括第一通道和第二通道，所述第一子激活值與所述第一通道對應，所述第二子激活值與所述第二通道對應，所述第一量化步長和所述第二量化步長不同。

2.根據權利要求1所述的方法，其特征在于，所述第一子激活值的分布和所述第二子激活值的分布不同。

3.根據權利要求1或2所述的方法，其特征在于，所述機器學習模型為Transformer模型。

4.根據權利要求1至3任一項所述的方法，其特征在于，在利用所述機器學習模型對輸入數據進行數據處理的過程中能夠得到所述輸入數據的多個特征信息，所述多個特征信息包括第一特征信息，所述模型的量化方法還包括對所述第一特征信息進行量化；其中，所述對所述第一特征信息進行量化包括：

將所述第一特征信息分為至少兩個子特征信息，所述至少兩個子特征信息包括第一子特征信息和第二子特征信息；

采用第一量化參數對所述第一子特征信息進行量化；

采用第二量化參數對所述第二子特征信息進行量化，所述第一量化參數和所述第二量化參數不同。

5.根據權利要求4所述的方法，其特征在于，所述輸入數據為圖像，所述機器學習模型的任務為對所述圖像進行目標檢測。

6.根據權利要求1至5任一項所述的方法，其特征在于，在利用所述機器學習模型對輸入數據進行數據處理的過程中能夠得到所述輸入數據的多個特征信息，所述多個特征信息包括第二特征信息，所述第二特征信息包括不同尺度的特征圖，所述模型的量化方法還包括對所述第二特征信息進行量化；其中，所述對所述第二特征信息進行量化包括：

將所述第二特征信息分為多個組，所述多個組中每個組包括至少一個特征圖，所述多個組中不同的組包括的特征圖的尺度不同；

對所述不同的組采用不同的量化參數進行量化。

7.根據權利要求6所述的方法，其特征在于，所述輸入數據為圖像，所述機器學習模型的任務為如下任一項：對所述圖像進行目標檢測、對所述圖像進行語義分割或者對所述圖像進行超分處理。

8.根據權利要求1至7任一項所述的方法，其特征在于，

所述利用機器學習模型進行數據處理的過程在所述機器學習模型的推理階段中，或者，所述利用機器學習模型進行數據處理的過程在所述機器學習模型的訓練階段中。

9.一種模型的量化方法，其特征在于，所述方法應用于利用機器學習模型進行數據處理的過程中，在利用所述機器學習模型對輸入數據進行數據處理的過程中能夠得到所述輸入數據的多個特征信息，所述多個特征信息包括第一特征信息，所述模型的量化方法包括對所述第一特征信息進行量化；其中，所述對所述第一特征信息進行量化包括：

將所述第一特征信息分為至少兩個子特征信息，所述至少兩個子特征信息包括第一子特征信息和第二子特征信息；

采用第一量化參數對所述第一子特征信息進行量化；

采用第二量化參數對所述第一子特征信息進行量化，所述第一量化參數和所述第二量化參數不同。