[發明專利]一種基于FPGA的高效LSTM加速器

有效

• 申請號: 202110563708.8
• 申請日: 2021-05-24
• 公開（公告）號: CN113191494B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 葛芬;楊瀅;張煒;張偉楓;李梓瑜;岳鑫;周芳;吳寧
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F15/78;G06F9/38;G06F9/302;G06F9/30;G06F12/0897;G06F1/03
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 沈海霞

本發明公開了一種基于FPGA的高效LSTM加速器，FPGA加速器內部包括多個計算單元、存儲單元和控制單元；計算單元包括矩陣向量乘法模塊及Element_wise運算模塊，矩陣向量乘法模塊由4*N個DSP及4個加法器構成，N個DSP用于權重數據與輸入數據的并行乘累加運算，并將N個乘累加結果相加得到單個門對應的結果向量，同時四個門的乘累加運算并行執行；Element_wise運算模塊，用于計算當前時刻的細胞狀態值和輸出數據；多個計算單元采用并行運算及復用策略；存儲單元用于緩存LSTM網絡計算所需的權重數據、輸入數據、輸出值、以及細胞狀態值；控制單元用于控制LSTM網絡計算的狀態轉換和數據流傳輸過程，本發明FPGA加速器相對于通用處理器具有高性能、低功耗及大吞吐量的特點。

技術領域

本發明涉及計算機硬件加速領域，尤其是涉及一種基于FPGA的高效LSTM加速器及其設計方法。

背景技術

長短期記憶網絡(Long Short-Term Memory，LSTM)是循環神經網絡中的一個典型的代表，可以有效的解決循環神經網絡中的長時依賴問題。隨著應用規模的增大，神經網絡模型算法的計算量和存儲復雜度也在不斷增大，大規模的神經網絡模型在訓練和預測過程中均需要考慮到存儲、計算性能和能耗方面的問題，因此如何以高性能和低能耗的方式實現神經網絡算法應用，是目前研究的熱點。

現有的通用計算平臺(CPU、GPU)受限于串行執行的結構，并行計算能力極其有限，且計算和存儲相分離的結構使數據搬移占用大量存儲器帶寬和功耗，很難滿足實際智能應用對功耗和性能的綜合需求。FPGA由于具有可編程性、可重構性、高并行性以及低功耗等優點更適合作為神經網絡硬件加速的平臺。目前，一些研究人員針對卷積神經網絡的推理階段利用FPGA實現高性能加速，能效比可以達到GPU的3倍。因此根據LSTM網絡算法自身的算法特性設計一種基于FPGA的高效LSTM硬件加速器，實現高性能和高并行度，減少運算過程中不必要的邏輯，獲得更低的功耗開銷，是當前非常具有研究價值的研究課題。

發明內容

本發明的目的是：提供一種基于FPGA的高效LSTM加速器，根據LSTM專用神經網絡結構，在FPGA平臺實現LSTM神經網絡前向推理的完整運算過程。采用多個計算單元并行運算及復用策略，同時單個計算單元內4個門采用并行乘累加運算以及在單個門內采用N個DSP并行乘累加運算，同時采用定點量化、流水線設計及分層與多塊存儲加速策略，提升硬件加速器的計算性能，相對于通用處理器具有高性能和低功耗的特點。

本發明的技術方案是：

一種基于FPGA的高效LSTM加速器，所述FPGA加速器內部包括多個計算單元、存儲單元和控制單元；

所述計算單元包括矩陣向量乘法模塊及Element_wise運算模塊，所述矩陣向量乘法模塊由4*N個DSP及4個加法器構成，所述N個DSP用于權重數據與輸入數據的并行乘累加運算，并將N個乘累加結果相加得到單個門對應的結果向量，同時四個門的乘累加運算并行執行；Element_wise運算模塊，用于計算當前時刻的細胞狀態值和輸出數據；所述多個計算單元采用并行運算及復用策略；

所述存儲單元用于緩存LSTM網絡計算所需的權重數據、輸入數據、輸出值、以及細胞狀態值；所述控制單元用于控制LSTM網絡計算的狀態轉換和數據流傳輸過程。

進一步地，所述矩陣向量乘法模塊，包括以下計算步驟：

步驟S1.將當前時刻輸入x、上一時刻的輸出h以及一個常數1合并為一個一維的長向量，將隱藏節點的權值以及偏置拼接成一個權重矩陣；

步驟S2.將合并后的長向量和權重矩陣進行乘法運算，四個門的乘累加運算并行執行，其中，每個門的乘累加運算由N個DSP并行執行，即每次依次將長向量中的N個輸入值及權重矩陣中的4*N個權重值分配給每個門的DSP，4*N個DSP并行地進行乘累加運算，將每個門對應的N個DSP得到的結果值相加得每個門對應的結果向量，從而獲得四個門對應的結果向量。