[發明專利]基于工程化實現的卷積神經網絡量化方法

有效

• 申請號: 201810319586.6
• 申請日: 2018-04-11
• 公開（公告）號: CN108510067B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 張犁;黃蓉;陳治宇;趙博然;牛毅;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

本發明公開了一種基于工程化實現的卷積神經網路量化方法，主要解決現有技術耗費時間長，準確率不高的問題，其實現方案是：1)下載已經預訓練好的浮點格式的卷積神經網絡模型；2)在下載的浮點網絡中定義量化層；3)在下載的浮點網絡中每一層批量歸一化層后面調用2)定義的量化層，并構建輸入數據的量化公式對浮點輸入數據進行量化；4)在1)下載的浮點網絡中，構建權值量化公式對浮點權值進行量化。本發明與現有技術相比，在保持識別準確率的同時降低了圖像分類任務的時間成本和存儲需求，可用于專用芯片FPGA/ASIC硬件平臺的部署。

技術領域

本發明屬于深度學習技術領域，具體涉及一種卷積神經網絡量化方法，可用于專用芯片FPGA/ASIC硬件平臺的部署。

背景技術

深度學習近年來發展迅速，已經被廣泛應用到各個領域，特別是計算機視覺、語音識別和自然語言處理領域。卷積神經網絡是深度學習的代表，在計算機視覺領域掀起了熱潮，憑借其強大的學習能力被廣泛應用于圖像分類任務中。為了提高圖像分類任務的識別準確率，卷積神經網絡的層數越來越多，結構越來越復雜。提高識別準確率的同時也付出了巨大的代價，計算復雜度和模型存儲需求大量增加，這不利于卷積神經網絡在功率預算有限的硬件平臺的部署。因此，改進卷積神經網絡的算法，降低卷積神經網絡的存儲需求已成為趨勢，從而可以促進卷積神經網絡在硬件平臺FPGA和ASIC芯片上的應用。目前，將卷積神經網絡使用的32位浮點數的數制量化成低位寬的定點數這種方法可以使得硬件資源占用和功耗更少。

Gupta,S.在其發表的論文“Deep learning with limited numericalprecision”(《Computer Science》,2015)中提出了使用隨機舍入的方法對卷積神經網絡進行定點數的量化，該方法在網絡量化位寬為16的時候也能取得與網絡使用32位浮點數時幾乎相同的性能。但是在硬件平臺中隨機數的實現特別復雜，所以該方法不易于部署在硬件平臺上。

Rastegari M.在其發表的論文“XNOR-Net:ImageNet Classification UsingBinary Convolutional Neural Networks”(European Conference on Computer Vision,2016:525-542)中提出了XNOR-Net，XNOR-Net將卷積神經網絡量化成了二值網絡，量化位寬為1，該方法雖說能最大程度地降低硬件占用的資源和消耗的功率，實現起來非常的高效。但是對大規模圖像數據集imagenet做分類任務時，該方法的識別準確率與網絡使用32位浮點數時得到的識別準確率相比下降超過了10％。

發明內容

本發明的目的在于針對上述現有技術的問題，提出一種基于工程化實現的卷積神經網絡量化方法，以在保持識別準確率的同時降低圖像分類任務的時間成本和存儲需求。

本發明的基本思路是：根據硬件平臺處理器的位寬將卷積神經網絡量化為位寬為16、8的定點網絡，對定點數整數和小數進行不同的位寬組合，對量化后的定點網絡進行測試，根據測試準確率選擇最適合部署在硬件平臺的定點數位寬和表示格式，其實現方案包括如下：

(1)從互聯網下載兩個已經預訓練好的浮點格式卷積神經網絡模型；

(2)在(1)下載的預訓練浮點模型的每一層卷積層和全連接層后面都添加一層自定義的量化層，并用該自定義的量化層對浮點形式的輸入數據進行量化，量化的公式為：

其中，Convert表示將浮點輸入數據轉化為定點輸入數據，x為浮點輸入數據，IL和FL分別表示定點輸入數據的整數位寬和小數位寬，round為四舍五入函數，是編程語言的內置函數，2^FL表示量化成小數位寬為FL的定點數，-2^IL-1表示定點輸入數據表示的數值范圍的下限，2^IL-1-2^-FL表示定點輸入數據表示的數值范圍的上限；