[發(fā)明專利]一種基于FPGA的稀疏度神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810494819.6
• 申請日: 2018-05-22
• 公開（公告）號: CN108932548A
• 公開（公告）日: 2018-12-04
• 發(fā)明（設(shè)計）人: 李曦;周學(xué)海;王超;魯云濤;宮磊
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)蘇州研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司 32103
• 代理人: 范晴

本發(fā)明公開了一種基于FPGA的稀疏度神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)，包括硬件加速器和軟件執(zhí)行程序，所述硬件加速器包括系統(tǒng)控制單元及分別與其連接的剪枝處理單元、權(quán)值壓縮單元、數(shù)據(jù)存儲單元、數(shù)據(jù)傳輸單元、計算處理單元，所述軟件執(zhí)行程序包括分別存儲于剪枝處理單元、權(quán)值壓縮單元內(nèi)的剪枝處理程序和權(quán)值處理程序，軟件執(zhí)行程序?qū)ο∈杈W(wǎng)絡(luò)參數(shù)矩陣剪枝處理，并進(jìn)行壓縮存儲；硬件加速器基于FPGA硬件開發(fā)平臺，對壓縮參數(shù)后后續(xù)計算過程進(jìn)行硬件加速。本發(fā)明對使用新型剪枝技術(shù)生成的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，根據(jù)不同類型神經(jīng)層使用的剪枝方法針對性的處理該層的權(quán)值參數(shù)，對網(wǎng)絡(luò)參數(shù)進(jìn)行壓縮存儲，減少網(wǎng)絡(luò)模型使用的存儲空間。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)硬件加速領(lǐng)域，特別涉及一種基于FPGA的稀疏度神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)及其設(shè)計方法。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)一種效果良好的方法，廣泛應(yīng)用于多種領(lǐng)域。在圖像分類應(yīng)用中常用的卷積神經(jīng)網(wǎng)絡(luò)是深度神經(jīng)網(wǎng)絡(luò)的一種變化形式。卷積神經(jīng)網(wǎng)絡(luò)模型在發(fā)展中尺寸不斷增大，從而擁有計算密集與參數(shù)存儲量大的特點(diǎn)，在很多資源受限的設(shè)備中無法部署應(yīng)用。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)在計算特點(diǎn)不同的卷積層與全連接層使用相同的剪枝策略，刪除神經(jīng)網(wǎng)絡(luò)模型中冗余的神經(jīng)元與突觸連接，以減少計算操作數(shù)量與存儲空間，最終形成不同稀疏度的神經(jīng)網(wǎng)絡(luò)模型，適應(yīng)不同的硬件資源。神經(jīng)網(wǎng)絡(luò)模型使用矩陣的數(shù)據(jù)結(jié)構(gòu)存儲網(wǎng)絡(luò)參數(shù)，原始網(wǎng)絡(luò)模型的參數(shù)矩陣為稠密矩陣，剪枝后的網(wǎng)絡(luò)模型參數(shù)表示為稀疏矩陣，即在參數(shù)矩陣中含有大量零值元素，這些零值元素能夠在計算和存儲中省略，并且不影響最終的預(yù)測準(zhǔn)確度。

同時，大多數(shù)神經(jīng)網(wǎng)絡(luò)加速器僅考慮處理稠密參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，在處理稀疏參數(shù)的神經(jīng)網(wǎng)絡(luò)模型時，對于參數(shù)矩陣中的零值元素仍然按照傳統(tǒng)的方式存儲于計算，并沒有從稀疏化中得到相應(yīng)的性能提升。而近期提出的稀疏神經(jīng)網(wǎng)絡(luò)加速器處理該類稀疏網(wǎng)絡(luò)模型，對稀疏的參數(shù)矩陣進(jìn)行壓縮存儲，隨后對壓縮的參數(shù)進(jìn)行計算，該稀疏網(wǎng)絡(luò)加速器的性能的提升也與網(wǎng)絡(luò)參數(shù)減少的程度不成比例。

例如，手寫數(shù)字識別應(yīng)用中使用的一個卷積神經(jīng)網(wǎng)絡(luò)模型，在原始神經(jīng)網(wǎng)絡(luò)模型中，第一個全連接層原始的輸入神經(jīng)元數(shù)量為800，輸出神經(jīng)元數(shù)量為500，則該層的突觸連接數(shù)量為100000，使用500 QUOTE800矩陣數(shù)據(jù)結(jié)構(gòu)存儲每個突觸連接上的權(quán)值參數(shù)。使用剪枝技術(shù)處理該模型，刪除權(quán)值小于某個閾值的突觸連接。在得到的稀疏神經(jīng)網(wǎng)絡(luò)模型的該全連接層中，突觸連接數(shù)量變?yōu)?000，剪枝刪掉的連接相應(yīng)位置的權(quán)值參數(shù)數(shù)值設(shè)置為零，即，原始的500 QUOTE 800權(quán)值矩陣中相應(yīng)位置的元素為零值。由于神經(jīng)網(wǎng)絡(luò)層進(jìn)行的計算為乘法與非線性整流函數(shù) QUOTE 運(yùn)算，因此乘數(shù)為零值的乘法運(yùn)算后結(jié)果為零，零值又在后續(xù)的ReLU函數(shù)中濾過，因此，權(quán)值矩陣中的零值元素對后續(xù)的計算結(jié)果不產(chǎn)生影響，因此可以不存儲并參與后續(xù)計算。理論上，在該全連接層，經(jīng)過剪枝處理后的稀疏參數(shù)的存儲空間應(yīng)為原始稠密參數(shù)的十分之一，計算性能應(yīng)為原始稠密參數(shù)性能的10倍。但是，使用大多數(shù)處理稠密神經(jīng)網(wǎng)絡(luò)的加速器時，會將稀疏權(quán)值矩陣相應(yīng)的零值元素仍舊存儲并進(jìn)行乘法運(yùn)算操作，因此，加速器處理稀疏神經(jīng)網(wǎng)絡(luò)的性能與處理稠密神經(jīng)網(wǎng)絡(luò)的性能相似，網(wǎng)絡(luò)參數(shù)的存儲空間也沒有改變。此外，針對傳統(tǒng)剪枝技術(shù)的稀疏網(wǎng)絡(luò)專用加速器，會消耗額外空間存儲參數(shù)索引，消耗額外的時間開銷處理壓縮參數(shù)的計算，也不能達(dá)到理想的加速效果。綜上所述，不論是稠密神經(jīng)網(wǎng)絡(luò)加速器，還是稀疏神經(jīng)網(wǎng)絡(luò)加速器，處理傳統(tǒng)剪枝技術(shù)生成的這類稀疏神經(jīng)網(wǎng)絡(luò)時，均不能達(dá)到理想性能加速效果。

發(fā)明內(nèi)容

本發(fā)明目的是：有鑒于現(xiàn)有技術(shù)的缺陷與不足，本發(fā)明提出了一種基于新型剪枝技術(shù)的神經(jīng)網(wǎng)絡(luò)加速器系統(tǒng)（以下簡稱加速系統(tǒng)），該加速系統(tǒng)針對新型剪枝技術(shù)生成的稀疏神經(jīng)網(wǎng)絡(luò)，使用軟硬件協(xié)同的工作方式，對該類稀疏神經(jīng)網(wǎng)絡(luò)進(jìn)行性能加速。

本發(fā)明的技術(shù)方案是：