[發明專利]一種稀疏卷積神經網絡加速器及實現方法

有效

• 申請號: 201811582530.6
• 申請日: 2018-12-24
• 公開（公告）號: CN109635944B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 劉龍軍;李寶婷;孫宏濱;梁家華;任鵬舉;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 安彥彥

一種稀疏卷積神經網絡加速器及實現方法，將片外DRAM中的稀疏網絡的連接權重讀入權值輸入緩沖區，通過權值解碼單元進行解碼后存儲在權值片上全局緩沖區；將神經元讀入神經元輸入緩沖區，然后將讀入的神經元通過神經元解碼單元進行解碼后存儲在神經元片上全局緩沖區；按照神經網絡當前層的配置參數確定PE計算單元陣列的計算模式，將解碼后排列好的神經元和連接權重發送給PE計算單元；計算神經元和連接權重的乘積；在本發明加速器中，PE單元中的乘法器全部被移位器代替，所有的基本模塊都可以根據網絡計算和硬件資源進行配置，因此具有速度快、功耗低、資源占用小以及數據利用率高的優點。

技術領域

本發明屬于深度神經網絡加速計算技術領域，涉及一種稀疏卷積神經網絡加速器及實現方法。

背景技術

深度神經網絡(Deep Neural Network，DNN)的卓越性能來自于它能夠使用統計學習從大量數據中獲得輸入空間的有效表示，并從原始數據中提取高級特征。但是這些算法計算密集，隨著網絡層數不斷增加，DNN對存儲資源和計算資源的需求越來越高，使得其在硬件資源有限、功耗預算緊張的嵌入式設備上部署困難。DNN模型壓縮技術有利于減少網絡模型內存占用、降低計算復雜度和系統功耗等，一方面可以提高模型的運行效率，有利于云計算等對速度要求較高的平臺；另一方面有利于將模型部署到嵌入式系統。

相比于馮·諾依曼計算機體系架構，神經網絡計算機以神經元作為基本的計算和存儲單元，構造一種新型的分布式存儲和計算的體系結構?，F場可編程門陣列(FieldProgrammable Gate Array，FPGA)不僅具有軟件的可編程性和靈活性，同時又有專用集成電路(Application Specific Integrated Circuit，ASIC)高吞吐和低延遲的特性，成為了當下DNN硬件加速器設計應用的熱門載體?，F有的神經網絡模型研究大都集中在對網絡識別精度的提升，即使是輕量化網絡模型也忽視了硬件加速時的計算復雜度，浮點型的數據表示導致硬件資源消耗過大。雖然DNN加速器方案眾多，但其中更高效的數據復用、硬件計算的流水線設計以及片上存儲資源規劃等需要解決或優化的問題還有很多。

發明內容

為了克服上述現有技術的不足，本發明的目的在于提出了一種高能效的稀疏卷積神經網絡加速器及實現方法，使得DNN連接權重具有稀疏、硬件計算友好的特點。

為實現上述目的，本發明是通過以下技術方案實現的：

一種稀疏卷積神經網絡加速器，包括：片外DRAM，神經元輸入緩沖區，神經元解碼單元，神經元編碼單元，神經元輸出緩沖區，神經元片上全局緩沖區，權值輸入緩沖區，權值解碼單元，權值片上全局緩沖區，PE計算單元陣列，激活單元以及池化單元；其中，

片外DRAM，用于存儲壓縮好的神經元和連接權重的數據；

神經元輸入緩沖區，用于緩存從片外DRAM讀取的壓縮神經元數據，并傳輸給神經元解碼單元；

神經元解碼單元，用于解碼壓縮神經元數據，并將解碼后的神經元傳輸給神經元片上全局緩沖區；

神經元編碼單元，用于將神經元片上全局緩沖區中的數據壓縮編碼后傳輸給神經元輸出緩沖區；

神經元輸出緩沖區，用于將接收到的壓縮神經元數據存入到片外DRAM中；

神經元片上全局緩沖區，用于緩存解碼后的神經元和PE陣列計算得到的中間結果，并與PE計算單元陣列進行數據通信；

激活單元，用于將PE計算單元陣列計算的結果激活后傳輸到池化單元或神經元片上全局緩沖區；池化單元，用于對激活單元激活后的結果降采樣；

權值輸入緩沖區，用于緩存從片外DRAM讀取的壓縮連接權重數據，并傳輸給權值解碼單元；

權值解碼單元，用于解碼壓縮連接權重數據，并將解碼后的連接權重傳輸給權值片上全局緩沖區；