[發明專利]卷積神經網絡量化方法、系統、設備及存儲介質

在審

• 申請號: 202110316160.7
• 申請日: 2021-03-24
• 公開（公告）號: CN112884133A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 徐超;艾佳楠;楊冬梅
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 夏彬

1.一種卷積神經網絡量化方法，其特征在于，包括如下步驟：

將待量化的卷積神經網絡劃分為多個按順序依次連接的子網絡，每個子網絡至少包括一個網絡層；

按照所述子網絡的連接順序，依次對所述子網絡進行量化處理，并在每個所述子網絡進行量化處理后，對所述卷積神經網絡進行微調訓練，訓練時，僅調整所述卷積神經網絡中未量化的參數，已量化的參數不進行參數調整。

2.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，對所述子網絡進行量化處理，包括：對所述子網絡的輸入和至少部分參數進行量化處理。

3.根據權利要求2所述的卷積神經網絡量化方法，其特征在于，采用如下步驟對所述子網絡的至少部分參數進行量化處理：

對一所述子網絡中的參數按照絕對值從大到小進行排序；

對所述子網絡中排序前a％的參數進行量化處理，a是預設系數，0a％1；

對所述卷積神經網絡進行微調訓練時，所述卷積神經網絡中已量化的參數包括該子網絡之前的各個子網絡中a％的已量化參數和該子網絡中a％的已量化參數。

4.根據權利要求3所述的卷積神經網絡量化方法，其特征在于，對所有子網絡中a％的已量化參數進行量化處理并對所述卷積神經網絡進行微調訓練之后，還包括如下步驟：

對各個所述子網絡中(100-a)％的未量化參數進行量化處理。

5.根據權利要求2所述的卷積神經網絡量化方法，其特征在于，對所述子網絡的輸入和至少部分參數進行量化處理，包括：采用線性量化的方式對所述子網絡的輸入和至少部分參數進行量化處理。

6.根據權利要求2所述的卷積神經網絡量化方法，其特征在于，對所述子網絡的輸入和至少部分參數進行量化處理，包括如下步驟：

分別獲取所述子網絡的輸入和參數的量化系數；

基于所述量化系數，采用線性量化的方式對所述子網絡的輸入和至少部分參數進行量化，得到所述子網絡的輸入和至少部分參數所對應的INT8值；

將所述子網絡的輸入和至少部分參數所對應的INT8值與所述量化系數相乘，得到所述子網絡的輸入和至少部分參數的反量化值；

采用所述子網絡的輸入和至少部分參數的反量化值替換所述卷積神經網絡中的輸入和至少部分參數。

7.根據權利要求6所述的卷積神經網絡量化方法，其特征在于，所述分別獲取所述子網絡的輸入和參數的量化系數，包括如下步驟：

分別獲取所述子網絡的輸入的絕對值最大值和參數的絕對值最大值，分別作為所述子網絡的輸入和參數的量化系數。

8.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，各個所述子網絡中包括一個網絡層。

9.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，所述將待量化的卷積神經網絡劃分為多個按順序依次連接的子網絡之前，還包括如下步驟：

將BN層和Scale層合并至卷積層中。

10.一種卷積神經網絡量化系統，其特征在于，用于實現權利要求1至9中任一項所述的卷積神經網絡量化方法，所述系統包括：

網絡劃分模塊，用于將待量化的卷積神經網絡劃分為多個按順序依次連接的子網絡，每個子網絡至少包括一個網絡層；

網絡量化模塊，用于按照所述子網絡的連接順序，依次對所述子網絡進行量化處理；

網絡微調模塊，用于在每個所述子網絡進行量化處理后，對所述卷積神經網絡進行微調訓練，訓練時，僅調整所述卷積神經網絡中未量化的參數，已量化的參數不進行參數調整。

11.一種卷積神經網絡量化設備，其特征在于，包括：

處理器；

存儲器，其中存儲有所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求1至9中任一項所述的卷積神經網絡量化方法的步驟。

12.一種計算機可讀存儲介質，用于存儲程序，其特征在于，所述程序被處理器執行時實現權利要求1至9中任一項所述的卷積神經網絡量化方法的步驟。