[發明專利]一種全片上存儲的神經網絡加速器及其實現方法

有效

• 申請號: 202010512394.4
• 申請日: 2020-06-08
• 公開（公告）號: CN111401543B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 陳喬喬;劉洪杰
• 申請（專利權）人: 深圳市九天睿芯科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

本發明提供一種全片上存儲的神經網絡加速器的實現方法，所述方法包括根據當前的神經網絡模型，確定神經網絡中輸出特征圖極小值所在的層；確定多層融合計算的層數，確定用于多層融合計算的PE個數，申請PE，并將多層融合計算的輸出特征圖存儲在片上存儲器，多層融合計算完成的層對應的PE被釋放，待計算層重復前述操作，直至多層融合計算完整個網絡的所有層。本發明還提供一種全片上存儲的神經網絡加速器，包括控制器、加載模塊、計算陣列、后處理模塊、存儲模塊和片上緩沖器。采用本發明實現的全片上存儲神經網絡加速器功耗更小、面積更小、能效比更高，易擴展、并且可以保證實時性。

技術領域

本發明涉及神經網絡的應用領域，并且更具體地，涉及一種全片上存儲的神經網絡加速器及其實現方法。

背景技術

神經網絡的應用領域中，在移動端硬件上實現神經網絡（Neural Network，NN）加速，追求功耗更低，面積更小，在滿足實時處理的前提下，盡可能提高能效比。

論文1“UNPU: An Energy-Efficient Deep Neural Network Accelerator WithFully Variable Weight Bit Precision”DOI: 10.1109/JSSC.2018.2865489，論文2“AnEnergy-Efficient Precision-Scalable ConvNet Processor in 40-nm CMOS”DOI:10.1109/JSSC.2016.2636225，論文3“Eyeriss An Energy-Efficient ReconfigurableAccelerator for Deep Convo-lutional Neural Networks”DOI: 10.1109/JSSC.2016.2616357，論文4“UniWiG: Unified Winograd-GEMM Architecture for Accelerating CNNon FPGAs ”DOI: 10.1109/VLSID.2019.00055，均公開了采用單層方案的NN加速器。單層方案是一層一層依次計算神經網絡，例如第一層計算的結果先存到片外存儲器中，第二層計算時再把第一層的結果從片外搬移進來。例如論文3的加速器中，圖像數據和權重（weight）從動態隨機存取存儲器（Dynamic Random Access Memory，DRAM）讀取到緩沖區，再傳輸到計算陣列中，從而實現內存流量和計算的重疊。計算陣列計算圖像數據和權重之間的卷積，生成多個中間加法運算結果，該多個中間加法運算結果從陣列返回到緩沖區，將不作為下一層計算輸入的中間加法運算結果進行整形和壓縮到DRAM，而剩余的作為下一層計算輸入的中間加法運算結果保存在緩沖區中，在下一層計算時將它們恢復到陣列，可以實現對不完全適合陣列的圖像和權重尺寸的可配置支持。采用單層方案的神經網絡加速器主要的不足是：（1）從片外雙倍速率SDRAM (Double Data Rate SDRAM，簡稱DDR)讀取數據功耗最大，而單層方案需要反復搬移中間臨時數據，導致動態功耗很大；（2）從片外DDR加載數據需要高速接口，導致面積和成本增加。