[發明專利]一種基于FPGA的CNN_LSTM算法的神經網絡加速器

在審

• 申請號: 202211150640.1
• 申請日: 2022-09-21
• 公開（公告）號: CN115423081A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 王巍;夏旭;趙汝法;丁輝;劉斌政;稅紹林
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅

1.一種基于FPGA的CNN_LSTM算法的神經網絡加速器，其特征在于，包括：

CPU：用于將輸入數據通過傳輸數據總線發送到輸入緩存模塊，將權重、偏置參數發送給參數RAM模塊中；

總線：包括數據總線和控制總線，數據總線負責CPU與FPGA之間的數據傳輸；控制總線負責CPU與FPGA之間控制信號指令的傳輸；

輸入輸出緩存：用于通過數據總線緩存CPU傳送給FPGA的待處理數據和FPGA傳送給CPU的處理完成的數據；

CNN卷積運算模塊：負責對輸入緩存模塊輸入的數據與CNN權重偏置RAM的數據進行卷積、激活、池化邏輯運算；

LSTM運算模塊：負責對CNN卷積運算模塊輸出的數據與LSTM權重偏置RAM的數據進行乘累加邏輯運算；

FC運算模塊：負責對LSTM運算模塊輸出的數據與FC權重偏置RAM的數據進行乘累加邏輯運算。

2.根據權利要求1所述的一種基于FPGA的CNN_LSTM算法的神經網絡加速器，其特征在于，所述CNN卷積運算模塊包括數據輸入行緩存模塊，卷積計算模塊，Relu激活函數模塊，中間結果緩存模塊，池化計算模塊；數據輸入行緩存模塊用于將輸入緩存中數據緩沖成卷積核大小的一列，按列輸入到卷積計算模塊中進行乘累加計算；卷積計算模塊用于提取數據的多種特征，卷積運算可以看作是由若干個乘累加計算組成，卷積就按得出的結果輸入到激活函數模塊；Relu激活函數模塊用于增加神經網絡各層之間的非線性關系，Relu激活函數由簡單的比較器實現，通過激活函數的結果輸入到中間結果緩存模塊中用于下一層卷積計算，中間結果緩存模塊用于存儲加速器中間計算結果的模塊，緩存的作用就是將上一層計算的數據存儲起來，當下一層神經網絡再次請求此數據時，直接從緩存中獲取而省略數據處理流程，從而降低資源的消耗提高響應速度；池化計算模塊用于對卷積層的輸出特征數據進行進一步特征壓縮，剔除冗余的特征信息,防止網絡的過擬合化,使CNN模型具有更高的容錯能力。

3.根據權利要求1所述的一種基于FPGA的CNN_LSTM算法的神經網絡加速器，其特征在于，所述LSTM運算模塊包括LSTM控制模塊，門函數計算模塊，Sigmoid激活函數線性近似模塊；LSTM控制模塊用于控制LSTM模塊的權重偏置的讀取與數據流的傳遞，門函數計算模塊用于實現LSTM模塊中的乘加操作，計算出各個門的結果，Sigmoid激活函數線性近似模塊用于實現Sigmoid激活函數的硬件近似，通過對Sigmoid激活函數的分段線性近似，對神經網絡模型加入非線性因素，提高神經網絡對模型的表達能力。

4.根據權利要求1所述的一種基于FPGA的CNN_LSTM算法的神經網絡加速器，其特征在于，所述FC運算模塊包括FC控制模塊、全連接層計算模塊、Relu激活函數模塊及數據輸出緩存，FC控制模塊用于控制FC模塊的權重偏置的讀取與數據流的傳遞，全連接層計算模塊用于通過傳統的乘加操作實現全連接層的向量內積計算，Relu激活函數模塊用于增加神經網絡各層之間的非線性關系，及數據輸出緩存用于暫時存放加速器計算完成后送往CPU的數據。

5.根據權利要求2所述的一種基于FPGA的CNN_LSTM算法的神經網絡加速器，其特征在于，在CNN卷積運算模塊的一個卷積層中，包含若干個特征平面，每個特征平面由一些矩形排列的的神經元組成，同一特征平面的神經元共享權值，這里共享的權值就是卷積核；卷積核以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值；卷積層是構建卷積神經網絡的核心層，它產生了網絡中大部分的計算量；

其中是卷積計算結果通過激活函數f的輸出，是第l層卷積i行j列的權重，是輸入，是卷積的偏置項，f是Relu激活函數；

子采樣也叫做池化(pooling)，有均值子采樣和最大值子采樣兩種形式；

f(x)＝max(x₁...x_n)

其中f(x)是最大池化計算結果，x₁...x_n是池化層輸入，max是最大池化函數。