[發(fā)明專利]一種基于FPGA的CNN_LSTM算法的神經(jīng)網(wǎng)絡(luò)加速器

在審

• 申請?zhí)枺?/td>: 202211150640.1
• 申請日: 2022-09-21
• 公開（公告）號: CN115423081A
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計）人: 王巍;夏旭;趙汝法;丁輝;劉斌政;稅紹林
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

本發(fā)明請求保護一種基于FPGA的CNN_LSTM算法的神經(jīng)網(wǎng)絡(luò)加速器，CNN硬件實現(xiàn)部分包括數(shù)據(jù)輸入行緩存模塊，卷積計算模塊，Relu激活函數(shù)模塊，中間結(jié)果緩存模塊，池化計算模塊；LSTM硬件實現(xiàn)部分包括LSTM控制模塊，門函數(shù)計算模塊，Sigmoid激活函數(shù)線性近似模塊；FC硬件實現(xiàn)部分包括FC控制模塊，全連接層計算模塊，Relu激活函數(shù)模塊，數(shù)據(jù)輸出緩存。本發(fā)明目的在于能夠結(jié)合具體的應(yīng)用場景設(shè)計出高性能、低功耗、靈活性強的CNN_LSTM神經(jīng)網(wǎng)絡(luò)加速器。創(chuàng)新點在于相比較傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)加速器，本發(fā)明使用并行流水的設(shè)計方法實現(xiàn)了CNN?LSTM算法的神經(jīng)網(wǎng)絡(luò)加速器，對提高神經(jīng)網(wǎng)絡(luò)加速器的低功耗與數(shù)據(jù)吞吐率有著顯著的效果，而且利用FPGA的并行處理能力使得算法有更快的運行速度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機硬件加速技術(shù)領(lǐng)域，具體涉及到一種基于FPGA的CNN_LSTM算法的神經(jīng)網(wǎng)絡(luò)加速器的并行流水設(shè)計方法的研究。

背景技術(shù)

目前，深度神經(jīng)網(wǎng)絡(luò)(DNN)的快速發(fā)展，在許多人工智能應(yīng)用中取得了顯著的成績。卷積神經(jīng)網(wǎng)絡(luò)(CNN)在目標(biāo)檢測和圖像分類方面做出了巨大貢獻。遞歸神經(jīng)網(wǎng)絡(luò)(RNN)專注于時間序列問題，并在語音識別、數(shù)據(jù)預(yù)測中顯示出巨大的優(yōu)勢。隨著應(yīng)用場景的多樣化和復(fù)雜性，人們對時間序列預(yù)測方法研究的也不斷深入，人們發(fā)現(xiàn)單純的時間序列分析方法有一定的局限性。近年來出現(xiàn)了一種CNN-RNN混合深度學(xué)習(xí)模型，它將CNN和RNN集成到一個網(wǎng)絡(luò)框架中。在這些模型中，CNN負(fù)責(zé)提取網(wǎng)絡(luò)特征，然后將其發(fā)送到RNN以建立序列聯(lián)系，這在圖像字幕、股票走勢預(yù)測、鋰電池荷電狀態(tài)預(yù)測和視頻檢測中廣泛使用。

目前，在FPGA上實現(xiàn)DNN已成為一個熱門的研究方向，F(xiàn)PGA獨特的架構(gòu)使高性能、低功耗的深度學(xué)習(xí)加速器設(shè)計成為可能。CNN-RNN混合深度神經(jīng)網(wǎng)絡(luò)加速器的研究越來越受到重視。與傳統(tǒng)RNN網(wǎng)絡(luò)相比，LSTM使用LSTM單元替換隱藏層節(jié)點，從而解決了傳統(tǒng)RNN中的長期依賴問題。CNN具有提取輸入數(shù)據(jù)顯著特征的能力，而LSTM具有長短時記憶的特征。因此，CNN-LSTM混合模型可以對輸入數(shù)據(jù)在空間維度和時間維度上建立相關(guān)性。根據(jù)CNN和LSTM的網(wǎng)絡(luò)特性，建立了基于CNN-LSTM算法的神經(jīng)網(wǎng)絡(luò)預(yù)測模型。與單獨的CNN和LSTM相比，該模型的預(yù)測精度顯著提高。由于混合神經(jīng)網(wǎng)絡(luò)的硬件加速器實現(xiàn)的比較少，本發(fā)明通過將CNN卷積神經(jīng)網(wǎng)絡(luò)硬件和LSTM長短期記憶神經(jīng)網(wǎng)絡(luò)硬件串聯(lián)實現(xiàn)CNN_LSTM神經(jīng)網(wǎng)絡(luò)加速器，通過FPGA實現(xiàn)了CNN_LSTM算法的硬件加速器。

通常計算任務(wù)從表現(xiàn)形式上面可以分為：軟件任務(wù)和硬件任務(wù)。常見的硬件加速技術(shù)有專用集成電路(ASIC)、現(xiàn)場可編程邏輯門陣列(FPGA)和圖形處理器(GPU)。ASIC是為特定用途設(shè)計開發(fā)的集成電路芯片,其具有高性能、低功耗、面積小等特點。FPGA簡化了邏輯任務(wù)設(shè)計,設(shè)計周期比ASIC更短,并且FPGA擁有可重構(gòu)的特點,靈活性好，方便用戶動態(tài)重構(gòu)功能模塊。GPU適用于大量數(shù)據(jù)的并行計算,具有高帶寬、高主頻、高并行性特點。但GPU的的高能耗對其應(yīng)用造成了一定的限制。而相比于GPU,FPGA在功耗方面具有很大的優(yōu)勢。

CN112949845A，一種基于FPGA的深度卷積神經(jīng)網(wǎng)絡(luò)的加速器，所述加速器包括：快速卷積運算模塊和二維卷積內(nèi)存交互模塊；所述快速卷積運算模塊，用于將輕量的快速乘法和Winograd算法結(jié)合，實現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)的快速卷積運算；所述二維卷積內(nèi)存交互模塊，用于在快速卷積運算過程中，將中間計算結(jié)果和權(quán)重采用梯形復(fù)用的內(nèi)存交互優(yōu)化策略進行片外和片內(nèi)之間的數(shù)據(jù)傳輸，使片內(nèi)外的數(shù)據(jù)交互達到最小。本發(fā)明的加速器一方面用快速乘法對Winograd卷積算法進行改進，進一步提高Winograd計算卷積的速度；另一方面提出了一種梯形復(fù)用的內(nèi)存交互優(yōu)化策略，它能減小片內(nèi)外內(nèi)存交互的時延。

發(fā)明內(nèi)容