[發明專利]一種稀疏卷積神經網絡加速器及實現方法

有效

• 申請號: 201811582530.6
• 申請日: 2018-12-24
• 公開（公告）號: CN109635944B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 劉龍軍;李寶婷;孫宏濱;梁家華;任鵬舉;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 安彥彥

1.一種稀疏卷積神經網絡加速器，其特征在于，包括：片外DRAM，神經元輸入緩沖區，神經元解碼單元，神經元編碼單元，神經元輸出緩沖區，神經元片上全局緩沖區，權值輸入緩沖區，權值解碼單元，權值片上全局緩沖區，PE計算單元陣列，激活單元以及池化單元；其中，

片外DRAM，用于存儲壓縮好的神經元和連接權重的數據；

神經元輸入緩沖區，用于緩存從片外DRAM讀取的壓縮神經元數據，并傳輸給神經元解碼單元；

神經元解碼單元，用于解碼壓縮神經元數據，并將解碼后的神經元傳輸給神經元片上全局緩沖區；

神經元編碼單元，用于將神經元片上全局緩沖區中的數據壓縮編碼后傳輸給神經元輸出緩沖區；

神經元輸出緩沖區，用于將接收到的壓縮神經元數據存入到片外DRAM中；

神經元片上全局緩沖區，用于緩存解碼后的神經元和PE陣列計算得到的中間結果，并與PE計算單元陣列進行數據通信；

激活單元，用于將PE計算單元陣列計算的結果激活后傳輸到池化單元或神經元片上全局緩沖區；池化單元，用于對激活單元激活后的結果降采樣；

權值輸入緩沖區，用于緩存從片外DRAM讀取的壓縮連接權重數據，并傳輸給權值解碼單元；

權值解碼單元，用于解碼壓縮連接權重數據，并將解碼后的連接權重傳輸給權值片上全局緩沖區；

權值片上全局緩沖區，用于緩存解碼后的連接權重，并與PE計算單元陣列進行數據通信；

PE計算單元陣列，用于采用卷積計算模式或全連接計算模式進行計算。

2.一種基于權利要求1中所述的稀疏卷積神經網絡加速器的實現方法，其特征在于，對數據進行預處理后，存儲在DRAM中，將存儲在片外DRAM中的稀疏網絡的連接權重讀入權值輸入緩沖區，通過權值解碼單元進行解碼后存儲在權值片上全局緩沖區；將存儲在片外DRAM中的神經元讀入神經元輸入緩沖區，通過神經元解碼單元進行解碼后存儲在神經元片上全局緩沖區；按照神經網絡當前層的配置參數確定PE計算單元陣列的計算模式，將解碼后排列好的神經元和連接權重發送給對應的PE計算單元；神經元和連接權重數據進入PE后分別緩存在Neuron_Buffer和Weight_Buffer中，當Neuron_Buffer和Weight_Buffer第一次填充滿之后，開始計算神經元和連接權重的乘積；其中，Neuron_Buffer為PE內神經元緩沖區，Weight_Buffer為PE內權重緩沖區；

PE計算單元陣列計算得到的結果如果是中間結果，則暫時存入神經元片上全局緩沖區，等待下次與PE計算單元陣列計算出的其他中間結果進行累加；如果是卷積層最終結果，則送入激活單元，然后將激活結果送入池化單元，降采樣后再存回神經元片上全局緩沖區；如果是全連接層最終結果，則送入激活單元，然后直接存回神經元片上全局緩沖區；存儲于神經元片上全局緩沖區的數據經過神經元編碼單元按照稀疏矩陣壓縮編碼存儲格式壓縮編碼后送入神經元輸出緩沖區，再存回片外DRAM，等待下一層計算時再讀入；如此循環直到最后一層的全連接層輸出一個一維向量，向量長度為分類類別數。

3.根據權利要求2中所述的稀疏卷積神經網絡加速器的實現方法，其特征在于，對數據進行預處理的具體過程為：

1)，對連接權重剪枝，使神經網絡變得稀疏；

2)，2ⁿ連接權重聚類：首先根據剪枝后網絡參數的分布情況，在參數集中的范圍內根據量化位寬選取2ⁿ形式的聚類中心，計算剩余非零參數和聚類中心的歐氏距離，將非零參數聚類到與其歐氏距離最短的聚類中心上，其中n是負整數、正整數或零；

3)，針對步驟2)聚類后的稀疏網絡，將稀疏網絡的連接權重以及特征圖神經元采用稀疏矩陣壓縮編碼存儲格式壓縮后存儲在片外DRAM中。