[發(fā)明專利]支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡的加速器

有效

• 申請?zhí)枺?/td>: 202010171755.3
• 申請日: 2020-03-12
• 公開（公告）號: CN111401554B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設計）人: 譚展宏
• 申請（專利權）人: 交叉信息核心技術研究院（西安）有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464;G06N3/048;G06N3/063
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 李宏德

本發(fā)明一種支持多粒度稀疏與指數(shù)量化的卷積神經(jīng)網(wǎng)絡的加速器，包括主控制器，并行的第一級激活輸入處理模塊和第一級權重處理模塊，并行的第二級激活輸入處理模塊和第二級權重處理模塊，第三級處理模塊，并行的池化處理模塊和批歸一化處理模塊，以及輸出控制器；通過對卷積神經(jīng)網(wǎng)絡進行壓縮，實現(xiàn)剪枝與量化的結合；通過第三級處理模塊的量化處理，分別將激活輸入和權重進行量化處理；利用配置器能夠實現(xiàn)通道/濾波器剪枝，利用處理卷積核稀疏的計算序列的控制實現(xiàn)卷積核剪枝，利用稀疏圖案編碼的輸入和稀疏圖案掩模控制器的處理實現(xiàn)可配置空間的圖案剪枝，實現(xiàn)多粒度稀疏架構，從而能夠對卷積神經(jīng)網(wǎng)絡進行加速，提高其處理能力和速度。

技術領域

本發(fā)明涉及卷積神經(jīng)網(wǎng)絡的加速器，具體為支持多粒度稀疏與指數(shù)量化的卷積神經(jīng)網(wǎng)絡的加速器。

背景技術

在模型壓縮的研究領域中，存在剪枝和量化兩種手段。在剪枝方面，包括結構性剪枝和非結構性剪枝，最先進的工作在較高的壓縮率下已經(jīng)基本得到精度的保證。但是目前在硬件架構中，尚缺乏對不同形式剪枝的加速支持，使得剪枝帶來的效益不能最大地發(fā)揮出來。

在量化方面，研究上大家對定點量化、2的冪指數(shù)量化和混合的2的冪指數(shù)量化都有相關的研究，但是同樣沒有一個統(tǒng)一的硬件架構去同時支持這幾種量化方式。

現(xiàn)有技術中應用在產業(yè)中的DNN加速器架構設計，都是以傳統(tǒng)SoC增添張量計算單元的設計，這種主要受限于產品迅速落地的需求，以及還受限于實際應用的模型和數(shù)據(jù)集不一定適合做學術界上的各種處理，無法滿足對多種剪枝以及多種量化的共同適用。

發(fā)明內容

針對現(xiàn)有技術中存在的問題，本發(fā)明提供一種支持多粒度稀疏與指數(shù)量化的卷積神經(jīng)網(wǎng)絡的加速器，通過適用多種剪枝和量化的方式實現(xiàn)加速，硬件的并行效果更好，實現(xiàn)數(shù)據(jù)的高效壓縮加速。

本發(fā)明是通過以下技術方案來實現(xiàn)：

支持多粒度稀疏與多模式量化的卷積神經(jīng)網(wǎng)絡的加速器，包括主控制器，并行的第一級激活輸入處理模塊和第一級權重處理模塊，并行的第二級激活輸入處理模塊和第二級權重處理模塊，第三級處理模塊，并行的池化處理模塊和批歸一化處理模塊，以及輸出控制器；

主控制器輸入端經(jīng)配置器連接I/O端口，輸出端輸出圖案數(shù)據(jù)連接第三級處理模塊輸入端；

第一級激活輸入處理模塊輸入端經(jīng)輸入控制器接入激活輸入和處理卷積核稀疏的計算序列；用于根據(jù)處理卷積核稀疏的計算序列將激活輸入進行重排完成一級處理；

第一級權重處理模塊輸入端經(jīng)輸入控制器接入權重、稀疏圖案編碼、以及批歸一化參數(shù)k和b；用于將輸入的權重、稀疏圖案編碼、以及批歸一化參數(shù)k和b通過數(shù)據(jù)分配進行分類更新；

第二級激活輸入處理模塊輸入端接入一級處理后的激活輸入和更新后的稀疏圖案編碼；用于根據(jù)更新后的稀疏圖案編碼確定對一級處理后的激活輸入的接收，將接收的激活輸入輸出到第三級處理模塊和池化處理模塊；

第二級權重處理模塊輸入端接入更新后的權重，用于將接收的激活輸入對應的權重進行導入，輸出到第三級處理模塊；并且將更新后的批歸一化參數(shù)k和b輸入到批歸一化處理模塊；

第三級處理模塊包括若干并行的計算核；每個計算核對應處理一組接收的激活輸入和權重，將接收的激活輸入根據(jù)權重的大小進行移位和累加處理量化后輸出，然后將計算核的量化輸出進行第一量化處理或第二量化處理后輸入到批歸一化處理模塊；

第一量化處理是用于將27比特的定點計算結果轉化為8比特定點，用于旁路批歸一化處理直接經(jīng)激活函數(shù)輸出；第二量化處理是將27比特的定點計算結果轉化為16比特浮點，用于批歸一化處理計算；

池化處理模塊將接收的激活輸入進行池化處理后輸入到輸出控制器；