[發明專利]一種基于FPGA的高效LSTM加速器

有效

• 申請號: 202110563708.8
• 申請日: 2021-05-24
• 公開（公告）號: CN113191494B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 葛芬;楊瀅;張煒;張偉楓;李梓瑜;岳鑫;周芳;吳寧
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F15/78;G06F9/38;G06F9/302;G06F9/30;G06F12/0897;G06F1/03
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 沈海霞

1.一種基于FPGA的高效LSTM加速器，其特征在于，所述FPGA加速器內部包括多個計算單元、存儲單元和控制單元；

所述計算單元包括矩陣向量乘法模塊及Element_wise運算模塊，所述矩陣向量乘法模塊由4*N個DSP及4個加法器構成，所述N個DSP用于權重數據與輸入數據的并行乘累加運算，并將N個乘累加結果相加得到單個門對應的結果向量，同時四個門的乘累加運算并行執行；Element_wise運算模塊，用于計算當前時刻的細胞狀態值和輸出數據；所述多個計算單元采用并行運算及復用策略；

所述存儲單元用于緩存LSTM網絡計算所需的權重數據、輸入數據、輸出值、以及細胞狀態值；所述控制單元用于控制LSTM網絡計算的狀態轉換和數據流傳輸過程；

所述的Element_wise運算模塊，采用時分復用的策略，將運算過程分成三個不同的狀態周期，實際消耗的資源只有一個 sigmoid 激活函數模塊，一個 tanh 激活函數模塊，一個加法器和一個乘法器，最終得到當前時刻的細胞狀態值以及當前時刻的輸出值，具體包括以下計算步驟：

狀態1：第一個周期將輸入門對應的結果向量進行sigmoid函數激活計算得到輸入門i，同時將記憶門對應的結果向量進行tanh函數激活計算得到記憶門g，然后將輸入門i和記憶門g相乘；

狀態2：第二個周期將遺忘門對應的結果向量進行sigmoid函數激活計算得到遺忘門f，將遺忘門f與上一時刻的細胞狀態值C_t-1相乘后，再加上第一周期的輸出i×g，更新當前時刻新的細胞狀態值C_t；

狀態3：第三個周期將輸出門對應的結果向量進行sigmoid函數激活計算得到輸出門o，同時將新的細胞狀態值C_t進行tanh函數激活計算，然后將兩者進行乘法運算得到當前時刻的輸出值h_t。

2.根據權利要求1所述的基于FPGA的高效LSTM加速器，其特征在于，所述矩陣向量乘法模塊，包括以下計算步驟：

步驟S1.將當前時刻輸入x、上一時刻的輸出h以及一個常數1合并為一個一維的長向量，將隱藏節點的權值以及偏置拼接成一個權重矩陣；

步驟S2.將合并后的長向量和權重矩陣進行乘法運算，四個門的乘累加運算并行執行，其中，每個門的乘累加運算由N個DSP并行執行，即每次依次將長向量中的N個輸入值及權重矩陣中的4*N個權重值分配給每個門的DSP，4*N個DSP并行地進行乘累加運算，將每個門對應的N個DSP得到的結果值相加得每個門對應的結果向量，從而獲得四個門對應的結果向量。

3.根據權利要求2所述的基于FPGA的高效LSTM加速器，其特征在于，所述FPGA加速器采用并行運算提升運算性能，為了提升加速性能，采用定點量化、流水線設計及分層與多塊存儲策略的優化手段。

4.根據權利要求3中所述的基于FPGA的高效LSTM加速器，其特征在于，所述定點量化為采用數據結構優化技術對浮點數據進行低位寬的定點量化，采用16位二進制來表示定點數，對于有符號數，最高位是符號位，有效位有15位，小數點之后可以有0-15位；對于無符號數，有效位有16位，小數點之后可以有0-16位。

5.根據權利要求4所述的基于FPGA的高效LSTM加速器，其特征在于，所述流水線設計為：矩陣向量乘法模塊計算完成后將數據送入Element_wise模塊后不需要等待，直接開始下一時刻的矩陣向量乘法運算，形成矩陣向量乘法運算和Element_wise運算的流水線設計。

6.根據權利要求4所述的基于FPGA的高效LSTM加速器，其特征在于，所述分層與多塊存儲策略為存儲單元劃分為權重緩存、輸入緩存、輸出緩存及計算單元的內部緩存，將LSTM網絡每一層的權重數據存儲在權重緩存的多個BRAM內，后續并行地從多個BRAM中讀取權重數據依次傳輸至計算單元的內部緩存，從而完成每個計算單元中4個門對應的權重矩陣讀入；當前時刻的輸出值緩存在輸出緩存中以便提供給下一時刻的計算，通過分層與多塊存儲策略可以有效減少數據交換的時間。