[發明專利]卷積神經網絡量化方法、系統、設備及存儲介質

在審

• 申請號: 202110316160.7
• 申請日: 2021-03-24
• 公開（公告）號: CN112884133A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 徐超;艾佳楠;楊冬梅
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 夏彬

本發明提供了一種卷積神經網絡量化方法、系統、設備及存儲介質，該方法包括：將待量化的卷積神經網絡劃分為多個按順序依次連接的子網絡，每個子網絡至少包括一個網絡層；按照所述子網絡的連接順序，依次對子網絡進行量化處理，并在每個子網絡進行量化處理后，對卷積神經網絡進行微調訓練，訓練時，僅調整未量化的參數，已量化的參數不進行參數調整。本發明依次對各個子網絡進行量化處理后，對卷積神經網絡進行微調處理，從而對卷積神經網絡中沒有量化的參數進行優化，通過逐步量化微調的方式，使得參數和輸入都逐漸量化，在將原始的卷積神經網絡模型量化后，取得了比直接量化模型更好的效果，減少了模型量化前后的精度損失。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種卷積神經網絡量化方法、系統、設備及存儲介質。

背景技術

現今神經網絡算法在視覺領域有著巨大的潛力和驚人的識別率，在很多領域都有著巨大的應用，伴隨著手機移動端的興起，手機的處理能力正在越來越強，然而針對神經網絡模型動則幾百兆的大小，仍然顯得不足。神經網絡模型訓練大多是浮點數32位的，而基于這樣的模型，大多數情況下，并不能很好的移植到移動端，因此模型壓縮就顯得格外重要。然而在模型量化的前后過程中精度損失總是不可避免的，因此采取一些必要的措施減少精度是損失同樣重要。

發明內容

針對現有技術中的問題，本發明的目的在于提供一種卷積神經網絡量化方法、系統、設備及存儲介質，采用逐層量化的方案，并微調未量化的層，減少模型量化前后的精度損失。

本發明實施例提供一種卷積神經網絡量化方法，包括如下步驟：

將待量化的卷積神經網絡劃分為多個按順序依次連接的子網絡，每個子網絡至少包括一個網絡層；

按照所述子網絡的連接順序，依次對所述子網絡進行量化處理，并在每個所述子網絡進行量化處理后，對所述卷積神經網絡進行微調訓練，訓練時，僅調整所述卷積神經網絡中未量化的參數，已量化的參數不進行參數調整。

本發明的卷積神經網絡量化方法將卷積神經網絡分為多個部分，依次對各個子網絡進行量化處理后，對卷積神經網絡進行finetune微調處理，從而對卷積神經網絡中沒有量化的參數進行優化，通過逐步量化finetune的方式，使得參數和輸入都逐漸量化，在將原始的卷積神經網絡模型量化后，取得了比直接量化模型更好的效果，減少了模型量化前后的精度損失。

在一些實施例中，對所述子網絡進行量化處理，包括：對所述子網絡的輸入和至少部分參數進行量化處理。

在一些實施例中，采用如下步驟對所述子網絡的至少部分參數進行量化處理：

對一所述子網絡中的參數按照絕對值從大到小進行排序；

對所述子網絡中排序前a％的參數進行量化處理，a是預設系數，0a％1；

對所述卷積神經網絡進行微調訓練時，所述卷積神經網絡中已量化的參數包括該子網絡之前的各個子網絡中a％的已量化參數和該子網絡中a％的已量化參數。

在一些實施例中，對所有子網絡中a％的已量化參數進行量化處理并對所述卷積神經網絡進行微調訓練之后，還包括如下步驟：

對各個所述子網絡中(100-a)％的未量化參數進行量化處理。

在一些實施例中，對所述子網絡的輸入和至少部分參數進行量化處理，包括：采用線性量化的方式對所述子網絡的輸入和至少部分參數進行量化處理。

在一些實施例中，對所述子網絡的輸入和至少部分參數進行量化處理，包括如下步驟：

分別獲取所述子網絡的輸入和參數的量化系數；

基于所述量化系數，采用線性量化的方式對所述子網絡的輸入和至少部分參數進行量化，得到所述子網絡的輸入和至少部分參數所對應的INT8值；