[發明專利]一種卷積神經網絡量化方法及裝置、計算機可讀存儲介質

在審

• 申請號: 202010323877.X
• 申請日: 2020-04-22
• 公開（公告）號: CN111626402A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 高蕾;秦步月;竇勇;姜晶菲;蘇華友;李榮春;許金偉
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N5/04
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

1.一種卷積神經網絡量化方法，其特征在于，該方法包括如下步驟：

在利用卷積神經網絡進行推理過程中，獲取當前數據集中的所有圖像在卷積神經網絡各層中的特征值數據；

根據所述特征值數據中的所有特征值所處的數值范圍設置定點整數位數，并根據所述定點整數位數確定定點小數位數；

測試所述定點整數位數和所述定點小數位數對應的至少一種定點格式的精度；

判斷是否存在至少一種定點格式的精度滿足設定的精度：如果是，則利用具有最高精度的定點格式對所述卷積神經網絡進行量化；如果否，則對所述卷積神經網絡進行分層量化。

2.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，對所述卷積神經網絡進行分層量化的步驟包括：

將所述卷積神經網絡中的待量化層中的所有特征值進行從小到大或從大到小排序，以得到特征值集合；

利用所述特征值集合中預設區間范圍的特征值所處的數值范圍確定當前待量化層的定點整數位數和定點小數位數；

根據當前待量化層的定點整數位數和定點小數位數確定當前待量化層的至少一種定點格式；

利用具有滿足設定的精度的定點格式對當前待量化層進行量化，直至所述卷積神經網絡中的所有待量化層均分層量化完成。

3.根據權利要求2所述的卷積神經網絡量化方法，其特征在于，

在得到待量化層的特征值集合之后，將所述特征值集合劃分為三個子集合：第一集合、第二集合及第三集合，利用第二集合中的特征值所處的數值范圍確定當前待量化層的定點整數位數和定點小數位數；

其中，第一集合中的任一值≥第二集合中的任一值≥第三集合中的任一值。

4.根據權利要求3所述的卷積神經網絡量化方法，其特征在于，在對所述特征值集合進行劃分時：

從所述特征值集合中抽出10％的數據量作為第一集合，從所述特征值集合中抽出80％的數據量作為第二集合，并將剩余的10％的數據量作為第三集合。

5.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，

所述根據定點整數位數確定定點小數位數，包括：

根據所述定點整數位數確定量化位寬，利用所述量化位寬、所述定點整數位數及符號位計算所述定點小數位數；其中，所述量化位寬等于所述定點整數位數、所述定點小數位數與所述符號位之和。

6.根據權利要求1所述的卷積神經網絡量化方法，其特征在于，

所述根據特征值數據中的所有特征值所處的數值范圍設置定點整數位數，包括：

根據所述特征值數據中的所有特征值所處的數值范圍確定最大值和最小值，依據所述最大值和所述最小值設置所述定點整數位數。

7.一種卷積神經網絡量化裝置，其特征在于，該裝置包括：

特征獲取模塊，用于在利用卷積神經網絡進行推理過程中獲取當前數據集中的所有圖像在卷積神經網絡各層中的特征值數據；

定點設置模塊，用于根據所述特征值數據中的所有特征值所處的數值范圍設置定點整數位數，并用于根據所述定點整數位數確定定點小數位數；

精度測試模塊，用于測試所述定點整數位數和所述定點小數位數對應的至少一種定點格式的精度；

精度比較模塊，用于判斷是否存在至少一種定點格式的精度滿足設定的精度；

整體量化模塊，用于在存在至少一種定點格式的精度滿足設定的精度的條件下利用具有最高精度的定點格式對所述卷積神經網絡進行量化；

分層量化模塊，用于在無定點格式的精度滿足設定的精度的條件下對所述卷積神經網絡進行分層量化。