[發明專利]神經網絡的加速方法及裝置

有效

• 申請號: 201811211042.4
• 申請日: 2018-10-17
• 公開（公告）號: CN109543815B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 劉勇攀;袁哲;王靖宇;岳金山;楊一雄;李學清;楊華中
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明實施例提供一種神經網絡的加速方法及裝置，其中方法包括：對于神經網絡中的任一層，根據層的量化模式，對輸入至所述層的特征圖進行分塊，獲得若干個塊數據，對所述塊數據中不同通道但同一位置的像素設置同一索引值；計算所述塊數據的稀疏度，拋棄全為0的塊數據，對剩余的塊數據，根據所述剩余的塊數據的稀疏度以及預設閾值確定相應的稀疏類型，根據所述稀疏類型對所述剩余的塊數據進行稀疏編碼。本發明實施保證了每個像素位置處索引數量不因量化模式的不同而出現成倍增加的情況，解決了多種稀疏度和多種量化位寬混雜的神經網絡編碼問題。

技術領域

本發明涉及加速器設計技術領域，更具體地，涉及神經網絡的加速方法。

背景技術

由于目前的神經網絡存在激活函數(ReLU)，可以造成大量特征數據(featuremap)稀疏，采用剪枝等方法訓練神經網絡又可以造成大量權重數據(weight data)稀疏。高效利用這些稀疏性可以大幅提高神經網絡加速器的處理效率。同時，硬件處理神經網絡時，定點化相比于浮點處理會帶來很大的能量提升。使用定點處理神經網絡已經成為高能效加速器的通用做法。目前已經許多文獻著眼于神經網絡的稀疏性和定點化量化的利用。對于稀疏性，這些文獻大致可以分為兩類，一類著眼于跳過0值，減少輸入為0的無效計算。此類方法假定神經網絡非常稀疏，直接按稀疏的方式存儲神經網絡。另一類采取忽略零值的方法，比如當輸入數據為0時，不執行乘法操作，從而可減少運算功耗。此類加速器假定神經網絡比較稠密，直接以稠密模式存儲神經網絡。

但是，這些技術都著眼于處理稀疏神經網絡本身，假定神經網絡稀疏是完全稀疏的或者完全不稀疏的，相應的利用稀疏網絡或者非稀疏的網絡存儲方式。然而實際上神經網絡不一定是稀疏的。實際中運用的神經網絡各層數據無論權重和特征數據的稀疏度都在5％-90％之間分布。也就是說某些層可以是稀疏的，也存在非稀疏層的情況，目前的存儲格式很難高效率的適應這些問題。第二點，上述工作均把神經網絡量化成固定的長度。實際上，為了進一步壓縮神經網絡的存儲量，不同層的網絡可以使用不同長度的量化模式。例如第一層使用8bit，第二層使用4bit進行量化。目前的稀疏神經網路加速器還無法同時處理不同量化的神經網絡。其實的主要技術問題在于稀疏網絡處理需要數據的索引值，不同量化模式的神經網絡存儲會造成索引值無法高效存儲

發明內容

本發明提供一種克服上述問題或者至少部分地解決上述問題的神經網絡的加速方法及裝置。

第一個方面，本發明實施例提供一種神經網絡的加速方法，包括：

對于神經網絡中的任一層，根據層的量化模式，對輸入至所述層的特征圖進行分塊，獲得若干個塊數據，對所述塊數據中不同通道但同一位置的像素設置同一索引值；

計算所述塊數據的稀疏度，拋棄全為0的塊數據，對剩余的塊數據，根據所述剩余的塊數據的稀疏度以及預設閾值確定相應的稀疏類型，根據所述稀疏類型對所述剩余的塊數據進行稀疏編碼。

第二個方面，本發明實施例提供一種神經網絡的加速裝置，包括：

塊數據獲取模塊，用于對于神經網絡中的任一層，根據層的量化模式，對輸入至所述層的特征圖進行分塊，獲得若干個塊數據，對所述塊數據中不同通道但同一位置的像素設置同一索引值；

稀疏編碼模塊，用于計算所述塊數據的稀疏度，拋棄全為0的塊數據，對剩余的塊數據，根據所述剩余的塊數據的稀疏度以及預設閾值確定相應的稀疏類型，根據所述稀疏類型對所述剩余的塊數據進行稀疏編碼。

第三方面，本發明實施例提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如第一方面所提供的方法的步驟。

第四方面，本發明實施例提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如第一方面所提供的方法的步驟。