[發明專利]一種分段線性量化方法及相關裝置

在審

• 申請號: 202211710556.0
• 申請日: 2022-12-29
• 公開（公告）號: CN115951859A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 裴朝科;林布德
• 申請（專利權）人: 深圳市歐冶半導體有限公司
• 主分類號: G06F7/483
• 分類號: G06F7/483;G06N3/063
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

1.一種分段線性量化方法，其特征在于，所述方法包括：

對待量化網絡模型進行量化，得到候選量化模型，其中，所述待量化網模型的數據類型為浮點型，候選量化模型的數據類型為整數型；

將所述候選量化模型量化為至少兩個目標量化模型，并將所述至少兩個目標量化模型部署于NPU端，其中，每個目標量化模型均的數據類型均為整數型。

2.根據權利要求1所述分段線性量化方法，其特征在于，所述待量化網絡模型的數據類型為float32，候選量化模型的數據類型為int8。

3.根據權利要求1所述分段線性量化方法，其特征在于，所述至少兩個目標量化模型中的每個目標量化模型的數據位數均小于候選量化模型的數據位數。

4.根據權利要求1所述分段線性量化方法，其特征在于，所述將所述候選量化模型量化為至少兩個目標量化模型具體包括：

對于候選量化模型中的待量化參數，將所述待量化參數劃分為至少兩個量化區間；

獲取每個量化區間對應的數據位數，并按照各量化區間對應的數據位數對候選量化模型進行量化，以得到至少兩個目標量化模型，其中，至少兩個目標量化模型與至少兩個量化區間一一對應。

5.根據權利要求4所述分段線性量化方法，其特征在于，所述對于候選量化模型中的待量化參數，將所述待量化參數劃分為至少兩個量化區間具體包括：

對于候選量化模型中的待量化參數，尋找所述待量化參數對應的至少一個斷點；

基于所述至少一個斷點將所述待量化參數劃分為至少兩個量化區間。

6.根據權利要求1-5任意一項所述分段線性量化方法，其特征在于，所述將所述至少兩個目標量化模型部署于NPU端之后，所述方法包括：

通過NPU端對各目標量化模型進行反量化，以得到候選量化模型；

通過NPU端基于所述候選量化模型進行模型推理，以得到推理結果。

7.根據權利要求6所述分段線性量化方法，其特征在于，所述NPU端中用于執行反量化的計算單元存儲于內存搬遷指令內，以使得當基于所述內存搬遷指令向緩沖器內導入數據時，對各目標量化模型進行反量化，以得到候選量化模型。

8.一種分段線性量化系統，其特征在于，所述系統包括：

第一量化模塊，用于對待量化網絡模型進行量化，得到候選量化模型，其中，所述待量化網模型的數據類型為浮點型，候選量化模型的數據類型為整數型；

第二量化模塊，用于將所述候選量化模型量化為至少兩個目標量化模型，其中，每個目標量化模型均的數據類型均為整數型。

部署模塊，用于將所述至少兩個目標量化模型部署于NPU端。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1-7任意一項所述的分段線性量化方法中的步驟。

10.一種終端設備，其特征在于，包括：處理器、存儲器及通信總線；所述存儲器上存儲有可被所述處理器執行的計算機可讀程序；

所述通信總線實現處理器和存儲器之間的連接通信；

所述處理器執行所述計算機可讀程序時實現如權利要求1-7任意一項所述的分段線性量化方法中的步驟。