[發明專利]一種分段線性量化方法及相關裝置

在審

• 申請號: 202211710556.0
• 申請日: 2022-12-29
• 公開（公告）號: CN115951859A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 裴朝科;林布德
• 申請（專利權）人: 深圳市歐冶半導體有限公司
• 主分類號: G06F7/483
• 分類號: G06F7/483;G06N3/063
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

本申請公開了一種分段線性量化方法及相關裝置，所述方法包括對待量化網絡模型進行量化，得到候選量化模型；將所述候選量化模型量化為至少兩個目標量化模型，并將所述至少兩個目標量化模型部署于NPU端。本申請通過先將浮點型的待量化網絡模型量化為整數型的候選量化模型，然后再通過分段量化將候選量化模型量化為多個目標量化模型，這樣一方面可以保證NPU端上部署的網絡模型的模型精度，又可以使得NPU無需進行浮點計算，從而可以降低對NPU端的消耗，另一方面通過反量化得到的為整數型的網絡模型，不會受到NPU帶寬的限制，進而可以提高其部署的網絡模型的運行和計算速度。

技術領域

本申請涉及計算機技術領域，特別涉及一種分段線性量化方法及相關裝置。

背景技術

目前普遍使用的量化方法包括PTQ(訓練后量化)和QTA(量化感知訓練)，其中，PTQ(訓練后量化)在低bit(例如，4bit等)量化時，會導致量化后的模型精度損失嚴重。QTA(量化感知訓練)雖然可以保證量化后的模型精度，但是QTA(量化感知訓練)對數據的依賴性較強，需要較多的訓練數據。然而，在實際的工業應用中，訓練數據經常難以獲得，從而限制了QTA(量化感知訓練)的使用。

為了解決上述問題，有研究者提供了PWLQ(piecewise?linear?quantization分段線性量化)，通過在浮點域上尋找一個或者多個合適的與之，對浮點進行截斷，然后將不同區間量化值不同數據位。然而，由于不同量化區間存在重疊部分，從而需要分段量化后的數據反量化會返回float32后進行計算。但在實際操作中，NPU(neural-network?processingunits嵌入式神經網絡處理器)對float32進行計算會導致NPU的消耗巨大，同時float32數據在NPU上搬運會受帶寬限制影響，導致float32運行和計算速度慢。

因而現有技術還有待改進和提高。

發明內容

本申請要解決的技術問題在于，針對現有技術的不足，提供一種分段線性量化方法及相關裝置。

為了解決上述技術問題，本申請實施例第一方面提供了一種分段線性量化方法，所述方法包括：

對待量化網絡模型進行量化，得到候選量化模型，其中，所述待量化網模型的數據類型為浮點型，候選量化模型的數據類型為整數型；

將所述候選量化模型量化為至少兩個目標量化模型，并將所述至少兩個目標量化模型部署于NPU端，其中，每個目標量化模型均的數據類型均為整數型。

所述分段線性量化方法，其中，所述待量化網絡模型的數據類型為float32，候選量化模型的數據類型為int8。

所述分段線性量化方法，其中，所述至少兩個目標量化模型中的每個目標量化模型的數據位數均小于候選量化模型的數據位數。

所述分段線性量化方法，其中，所述將所述候選量化模型量化為至少兩個目標量化模型具體包括：

對于候選量化模型中的待量化參數，將所述待量化參數劃分為至少兩個量化區間；

獲取每個量化區間對應的數據位數，并按照各量化區間對應的數據位數對候選量化模型進行量化，以得到至少兩個目標量化模型，其中，至少兩個目標量化模型與至少兩個量化區間一一對應。

所述分段線性量化方法，其中，所述對于候選量化模型中的待量化參數，將所述待量化參數劃分為至少兩個量化區間具體包括：

對于候選量化模型中的待量化參數，尋找所述待量化參數對應的至少一個斷點；

基于所述至少一個斷點將所述待量化參數劃分為至少兩個量化區間。

所述分段線性量化方法，其中，所述將所述至少兩個目標量化模型部署于NPU端之后，所述方法包括：