[發(fā)明專利]可調節(jié)量化位寬的神經網絡量化與壓縮的方法及裝置

有效

• 申請?zhí)枺?/td>: 201710624244.0
• 申請日: 2017-07-27
• 公開（公告）號: CN107480770B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 程健;賀翔宇;胡慶浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩

本發(fā)明涉及神經網絡技術領域，具體提出一種卷積神經網絡量化與壓縮的方法及裝置。旨在解決現有對神經網絡量化與壓縮的方法對網絡性能造成較大損失的問題。本發(fā)明的方法包括獲取原始卷積神經網絡的權值張量和輸入特征張量，并基于預先設定的量化位寬，對權值張量和輸入特征張量進行定點量化，并將得到的權值定點表示張量以及輸入特征定點表示張量替換原來的權值張量和輸入特征張量，得到對原始卷積神經網絡量化與壓縮后的新的卷積神經網絡。本發(fā)明能夠根據不同的任務需要靈活地調整位寬，無需調整算法結構和網絡結構即可實現對卷積神經網絡的量化與壓縮，減少對內存以及存儲資源的占用。本發(fā)明還提出一種存儲裝置和處理裝置，具有上述有益效果。

技術領域

本發(fā)明屬于神經網絡技術領域，具體提供一種卷積神經網絡量化與壓縮的方法及裝置。

背景技術

近年來，隨著卷積神經網絡在目標檢測識別領域的發(fā)展，其檢測正確率已經達到商用水平，與此同時，便攜設備(例如移動終端、智能設備)的高速發(fā)展，讓研究者看到了將卷積神經網絡與便攜設備相結合的契機。然而，基于卷積神經網絡的目標識別往往依賴于高性能的GPU(Graphics Processing Unit，圖形處理器)設備，需要巨大的運算量，消耗較大的內存，如果在智能手機或者嵌入式設備上運行卷積神經網絡模型，將迅速消耗智能手機或者嵌入式設備有限的內存資源、硬盤存儲資源以及電量，這對用戶來說，顯然是難以接受的。

為解決上述問題，現有技術的工作主要聚焦于如何縮減卷積神經網絡的規(guī)模以實現高效地網絡訓練以及如何在運行時加速針對卷積神經網絡的量化與壓縮。通過用定點數表示卷積神經網絡模型，將相應地減少內存及存儲資源的占用，對于FPGA(FieldProgrammable Gate Array，現場可編程門陣列)等專用器件來說將會節(jié)省資源，節(jié)約傳輸時間；采用較少的顯存位寬也可以壓縮邏輯電路的尺寸，在單位時間內，可進行運算的數目將會增多。但是現有技術的方法有些僅考慮壓縮存儲問題，有些量化或者壓縮問題的解決方案對于硬件實現并不友好，有些追求較低的顯存位寬導致網絡性能地大幅下降，對大型卷積神經網絡的所有層同時進行可變位寬的量化與壓縮且對性能不造成較大損失的工作還有待研究。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發(fā)明內容

為了解決現有技術中的上述問題，即為了解決現有技術對卷積神經網絡進行量化與壓縮時對卷積神經網絡的性能造成較大損失的問題，本發(fā)明的一方面提供了一種卷積神經網絡量化與壓縮的方法，包括：

獲取原始卷積神經網絡卷積層初始的權值張量、以及除所述原始卷積神經網絡的第一層以外各層初始的輸入特征張量；

基于預先設定的量化位寬，對所述初始的權值張量以及所述初始的輸入特征張量進行定點量化，分別得到權值定點表示張量以及輸入特征定點表示張量；

利用所述權值定點表示張量以及所述輸入特征定點表示張量，分別替換所述初始的權值張量以及所述初始的輸入特征張量，得到對所述原始卷積神經網絡量化與壓縮后的新的卷積神經網絡。

在上述方法的優(yōu)選技術方案中，所述對所述初始的權值張量以及所述初始的輸入特征張量進行定點量化，其方法為：

對所述原始卷積神經網絡中各卷積層，將所述初始的輸入特征張量進行由浮點數到定點數的量化，獲得與所述初始的輸入特征張量近似的第一輸入特征張量，所述第一輸入特征張量為輸入特征定點表示張量，直至所述原始卷積神經網絡中所有卷積層被遍歷；

對所述原始卷積神經網絡中各卷積層，將所述初始的權值張量進行由浮點數到定點數的量化，獲得權值縮放系數以及第一權值張量，直至所述原始卷積神經網絡中所有卷積層被遍歷。

在上述方法的優(yōu)選技術方案中，將所述初始的輸入特征張量與權值張量進行由浮點數到定點數的量化，其方法為：