[發明專利]一種神經網絡量化方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202010143410.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111401518A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 霍成海;張楠賡
• 申請（專利權）人: 杭州嘉楠耘智信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 鐘錦舜

本發明提供了一種神經網絡量化方法、裝置及計算機可讀存儲介質,該方法包括：根據校正數據集確定神經網絡的目標網絡層的激活輸出的分布數據；根據所述分布數據確定所述目標網絡層的目標量化范圍；根據所述目標量化范圍和目標量化位寬對所述目標網絡層進行定點量化。利用上述方法，可以減少神經網絡量化中的精度損失,具有更好的量化效果。

技術領域

本發明屬于神經網絡計算領域，具體涉及一種神經網絡量化方法、裝置及計算機可讀存儲介質。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

近年來，隨著深度學習的迅速發展，深度學習已被證明在包括圖像分類(ImageClassification)，目標檢測(Object Detection)，自然語言處理(Natural LanguageProcessing)等任務上具有很好的效果。深度學習采用大量的數據訓練出具有分析和預測等功能的神經網絡模型，然而隨著神經網絡模型的規模增大，所需的存儲資源、帶寬資源和運算資源也就越多。尤其難以將訓練好的復雜神經網絡模型部署在內存和計算資源都不充分的邊緣設備上。

基于上述問題，通常采用在盡量不影響性能的提前下，對經訓練的浮點類型的神經網絡模型的參數和激活輸出進行定點化處理，這樣可以有效減小存儲空間和所需的傳輸帶寬，并提高神經網絡運算速度。然而現有技術中，對神經網絡執行量化處理所采用的量化參數可能導致較多不必要的精度損失，影響量化性能。

發明內容

針對上述現有技術執行神經網絡的量化過程中所采用的量化參數導致較多不必要的精度損失的問題。本發明實施例提出了一種神經網絡量化方法、裝置及計算機可讀存儲介質，利用這種方法、裝置及計算機可讀存儲介質，能夠解決上述問題。

本發明的實施例中提供了以下方案。

第一方面，提供了一種神經網絡量化方法，包括：根據校正數據集確定神經網絡的目標網絡層的激活輸出的分布數據；根據分布數據確定目標網絡層的目標量化范圍；根據目標量化范圍和目標量化位寬對目標網絡層進行定點量化。

在一些可能的實施方式中，根據分布數據確定目標網絡層的目標量化范圍，包括：在分布數據的兩端分別確定目標網絡層的激活輸出的最大值區間和最小值區間；以最大值區間中每個激活輸出作為上邊界，以最小值區間中的每個激活輸出作為下邊界，確定多個第一量化范圍；根據多個第一量化范圍和目標量化位寬確定目標網絡層的激活輸出的多個第一量化分布；根據多個第一量化分布與分布數據的相對熵確定目標量化范圍。

在一些可能的實施方式中，根據分布數據確定目標網絡層的目標量化范圍，包括：確定以分布數據中的最小激活輸出作為下邊界的多個第二量化范圍；根據多個第二量化范圍和目標量化位寬確定目標網絡層的激活輸出的多個第二量化分布；根據多個第二量化分布與分布數據的相對熵確定目標量化范圍的上邊界；確定與目標量化范圍的上邊界重合的多個第三量化范圍；根據多個第三量化范圍和目標量化位寬確定目標網絡層的激活輸出的多個第三量化分布；根據多個第三量化分布與分布數據的相對熵確定目標量化范圍的下邊界。

在一些可能的實施方式中，根據分布數據確定目標網絡層的目標量化范圍，包括：確定以分布數據中的最大激活輸出作為上邊界的多個第四量化范圍；根據多個第四量化范圍和目標量化位寬確定目標網絡層的激活輸出的多個第四量化分布；根據多個第四量化分布與分布數據的相對熵確定目標量化范圍的下邊界；確定與目標量化范圍的下邊界重合的多個第五量化范圍；根據多個第五量化范圍和目標量化位寬確定目標網絡層的激活輸出的多個第五量化分布；根據多個第五量化分布與分布數據的相對熵確定目標量化范圍的上邊界。

在一些可能的實施方式中，根據分布數據確定目標網絡層的目標量化范圍，還包括：確定分布數據中針對校正數據集中每個校正數據的激活輸出的最大值和最小值；確定激活輸出的最大值均值作為目標量化范圍的上邊界，確定激活輸出的最小值均值作為目標量化范圍的下邊界。