[發明專利]一種模型的量化方法以及相關設備

在審

• 申請號: 202310215082.0
• 申請日: 2023-02-25
• 公開（公告）號: CN116362301A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 蔡玲玲;韓凱;付中前;王云鶴
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/0495
• 分類號: G06N3/0495;G06N3/045;G06N3/048;G06N20/00
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳欣蔚

本申請實施例公開一種模型的量化方法以及相關設備，該方法可用于人工智能領域中對模型進行壓縮，其中，對機器學習模型中第一激活層生成的第一激活值進行量化包括：采用第一量化步長對第一激活值中的第一子激活值進行量化，采用第二量化步長對第一激活值中的第二子激活值進行量化；機器學習模型中第一通道與第一子激活值對應，機器學習模型中第二通道與第二子激活值對應，第一量化步長和第二量化步長不同。本方案中采用不同的量化步長對不同通道所對應的子激活值進行量化，既有利于保留分布異常的通道所對應的量化后的子激活值的異常性，又有利于避免分布正常的通道所對應的量化后的子激活值的精度的損失。

技術領域

本申請涉及人工智能領域，尤其涉及一種模型的量化方法以及相關設備。

背景技術

人工智能(Artificial?Intelligence，AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。換句話說，人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式作出反應的智能機器。人工智能也就是研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。

隨著人工智能技術的發展，將機器學習模型部署在終端設備上的場景越來越多。但很多機器學習模型十分復雜，參數量龐大，對于終端設備的硬件要求很高，基于終端設備資源有限的現狀，一種對機器學習模型進行壓縮的方案亟待推出。

發明內容

本申請實施例提供了一種模型的量化方法以及相關設備，針對不同通道所對應的子激活值的分布不同的情況，本方案中采用不同的量化步長對不同通道所對應的子激活值進行量化，既有利于保留分布異常的通道所對應的量化后的子激活值的異常性，又有利于避免分布正常的通道所對應的量化后的子激活值的精度的損失。

為解決上述技術問題，本申請實施例提供以下技術方案：

第一方面，本申請實施例提供一種模型的量化方法，可用于人工智能領域中對模型進行壓縮，方法應用于利用第一機器學習模型進行數據處理的過程中，模型的量化方法包括對第一機器學習模型中的至少一個激活層生成的激活值進行量化，至少一個激活層包括第一激活層，也即第一激活層生成的第一激活值為任意一個需要量化的激活值。其中，電子設備對第一激活層生成的第一激活值進行量化包括：

電子設備采用第一量化步長對第一激活值中的第一子激活值進行量化；并采用第二量化步長對第一激活值中的第二子激活值進行量化，其中，第一機器學習模型包括多個通道，多個通道包括第一通道和第二通道，第一子激活值與第一通道對應，第二子激活值與第二通道對應，第一量化步長和第二量化步長不同。電子設備可以為第一模型的訓練設備，也可以為部署有第一模型的執行設備。

本實現方式中，提供了對第一機器學習模型中的激活層生成的激活值進行量化的方法，可以降低第一機器學習模型的計算復雜度，且能夠降低利用第一機器學習模型進行數據處理的過程時所占用的存儲空間；此外，由于多個通道中可能會存在子激活值分布異常的通道，例如分布異常的通道所對應的子激活值穩定的超大或超小，若采用相同的量化步長對每個通道所對應的子激活值進行量化，則前述量化步長的取值就需要較大，則與分布正常的通道所對應的量化后的子激活值的精度就會大大降低，針對不同通道所對應的子激活值的分布不同的情況，本方案中采用不同的量化步長對不同通道所對應的子激活值進行量化，既有利于保留分布異常的通道所對應的量化后的子激活值的異常性，又有利于避免分布正常的通道所對應的量化后的子激活值的精度的損失。