[發明專利]一種基于FPGA的稀疏度神經網絡加速系統

在審

• 申請號: 201810494819.6
• 申請日: 2018-05-22
• 公開（公告）號: CN108932548A
• 公開（公告）日: 2018-12-04
• 發明（設計）人: 李曦;周學海;王超;魯云濤;宮磊
• 申請（專利權）人: 中國科學技術大學蘇州研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴

1.一種基于FPGA的稀疏度神經網絡加速系統，其特征在于：包括硬件加速器和軟件執行程序，所述硬件加速器包括系統控制單元及分別與其連接的剪枝處理單元、權值壓縮單元、數據存儲單元、數據傳輸單元、計算處理單元，所述軟件執行程序包括分別存儲于剪枝處理單元、權值壓縮單元內的剪枝處理程序和權值處理程序，軟件執行程序對稀疏網絡參數矩陣剪枝處理，并進行壓縮存儲；硬件加速器基于FPGA硬件開發平臺，對壓縮參數后后續計算過程進行硬件加速。

2.根據權利要求1所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述軟件執行程序的剪枝處理程序分別使用卷積層剪枝子程序與全連接層剪枝子程序對稠密網絡模型進行剪枝操作，刪除模型中數值低于特定閾值的神經元或突觸連接；所述軟件執行程序的權值處理程序用于對剪枝后的稀疏參數矩陣進行壓縮存儲處理。

3.根據權利要求2所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述系統控制單元控制整個系統的執行流程，將神經網絡參數進行剪枝、壓縮、存儲與計算；所述數據存儲單元存儲剪枝處理后的稀疏參數矩陣與壓縮處理后的參數壓縮數據結構；所述數據傳輸單元采用直接內存存取方式將壓縮的參數傳輸至硬件緩存上準備進行后續的計算；計算處理單元進行神經網絡應用中的乘法運算、累加運算與激活函數運算。

4.根據權利要求2所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述的剪枝處理程序的卷積層剪枝子程序以神經元為單位對神經網絡卷積層進行剪枝處理，在卷積層中以特征圖為單位。

5.根據權利要求4所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述的軟件剪枝處理程序的全連接層剪枝子程序以一組權值參數為單位對神經網絡全連接層進行剪枝處理；按照計算處理單元的計算能力將全連接層的權值參數進行分組，計算每一個權值組內所有元素的均方根，將均方根小于某一閾值的權值組刪除，權值矩陣的相應位置元素將被置為零。

6.根據權利要求5所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：軟件剪枝處理程序處理的神經網絡模型，卷積層參數扔為稠密形式，為多個卷積核矩陣的數據結構；全連接層參數為稀疏形式，為稀疏參數矩陣的數據結構；所述的權值處理程序對全連接層的稀疏參數矩陣進行壓縮存儲，使用CSR的稀疏矩陣壓縮存儲格式。

7.根據權利要求5所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述的硬件加速器結構中計算處理單元內部的計算功能結構，包括定點乘法器、累加樹、激活函數與非零值濾過器，其中，定點乘法器將全連接層的輸入向量與權值數組中非零值進行矩陣乘法運算；累加樹將定點乘法器輸出的結果通過累加樹并行計算；激活函數將累加樹輸出的求和結果進行激活操作；非零值濾過部件將激活函數值的輸出進行濾過，當輸出結果為零時不存儲，輸出結果為非零值存儲至輸出數據緩存中。

8.根據權利要求7所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述硬件加速器中計算處理單元的數量，即系統并行度為p，根據FPGA 硬件開發平臺上的資源限制情況，確定p 的取值。

9.根據權利要求8所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述的計算處理單元，在計算時需要對參與計算的數據進行劃分，計算后將部分結果進行整合，得到最終的輸出結果。

10.根據權利要求9所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述的數據劃分的方法，在卷積層內，將每個通道上的小尺寸卷積核矩陣組成一個矩陣集合，以卷積核為單位對卷積層的參數進行數據劃分，同時盡量避免數據劃分帶來的數據復制數量；在全連接層內，將權值參數按照原始的行向量進行劃分，對每個計算處理單元中的輸入向量，只復制相應非零權值對應的輸入向量元素，其余的向量不復制。

11.根據權利要求10所述的基于FPGA的稀疏度神經網絡加速系統，其特征在于：所述硬件加速器處理稀疏神經網絡預測算法的計算流程為，在通用處理器的控制下，通過數據傳輸控制器將數據存儲單元中的輸入數據與網絡參數數據加載到計算處理單元的緩存結構，其中，卷積層中的計算數據為輸入特征圖與卷積核矩陣，全連接層的計算數據為輸入向量與多個權值數組；再通過計算處理單元中的功能結構進行乘法運算，累加運算，激活函數處理與非零值濾過期處理，得到輸出結果存儲在緩存結構中；最終，通過數據傳輸控制器將緩存中的數據返回到數據存儲單元中。