[發(fā)明專利]基于FPGA的二值化神經網絡的加速系統

在審

• 申請?zhí)枺?/td>: 202010793337.8
• 申請日: 2020-08-10
• 公開（公告）號: CN111931925A
• 公開（公告）日: 2020-11-13
• 發(fā)明（設計）人: 田玉敏;王泉;楊鵬飛;李喜林;王振翼;梁瑀
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06F15/78
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 陳宏社;王品華

本發(fā)明提出了一種基于FPGA的二值化神經網絡的加速系統，本發(fā)明屬于集成電路設計技術領域，用于解決現有技術中存在的卷積運算的關鍵計算路徑長導致的計算速度易受到串行計算限制，且資源占用較多的技術問題。所述加速系統包含通過FPGA實現的權重數據緩存模塊、輸入特征數據緩存模塊、配置數據緩存模塊、權重數據轉換模塊、卷積模塊、池化模塊、全連接模塊、結果處理模塊、結果緩存模塊和控制模塊。本發(fā)明可應用于嵌入式環(huán)境下的目標快速檢測等場景。

技術領域

本發(fā)明屬于集成電路設計技術領域，涉及一種二值化神經網絡的加速系統，具體涉及一種基于FPGA的二值化神經網絡的加速系統，可應用于嵌入式環(huán)境下的目標快速檢測等場景。

背景技術

隨著深度學習的不斷發(fā)展，其在工業(yè)領域中的應用越來越廣泛。深度學習技術極大改善了工業(yè)應用的自動化水平。其中，卷積神經網絡因其出色的表現在計算機視覺方面的應用更為廣泛，例如圖像分類、目標檢測、動態(tài)追蹤等場景。

在使用卷積神經網絡時，為了獲得較高的準確率，研究者們通常都趨向于構造更深層和更復雜的神經網絡，這樣將需要較大的網絡數據存儲和計算開銷。而在嵌入式環(huán)境下需要在計算能力和存儲空間有限的硬件設備上部署卷積神經網絡模型。為了解決該問題，量化、裁剪等方法被提出。其中，量化方法在計算和存儲資源優(yōu)先的嵌入式設備上更加適用。在各種量化方法中，二值化是目前效率相對較高的方法，通過對卷積神經網絡中輸入特征數據與權重數據進行二值化處理，使得卷積運算由浮點運算類型轉化為位運算類型，可通過邏輯單元進行實現。

目前，應用于嵌入式環(huán)境下的二值化神經網絡加速系統的實現主要有兩個研究方向：一個是基于可定制化專用集成芯片ASIC進行實現，通過特定算法對ASIC進行定制優(yōu)化，計算效率高且設備功耗相對較低；但專用集成芯片缺乏統一的軟硬件開發(fā)環(huán)境，系統開發(fā)周期長，且僅能加速特定深度神經網絡，靈活性及通用性較差，難以同時滿足嵌入式環(huán)境的多應用需求。另一個研究方向是基于可編程邏輯門陣列FPGA進行實現，FPGA具有高度并行性，可用于計算加速，且支持片上集成的邏輯單元進行動態(tài)可重構配置，具備良好的靈活性與可擴展性，同時FPGA還具備高度集成的軟硬件開發(fā)環(huán)境，是目前實現二值化神經網絡的加速系統廣泛采用的方法。

目前嵌入式環(huán)境下的二值化神經網絡加速系統，其系統性能易受到對應的硬件資源的限制，具體體現在當FPGA處理計算過程復雜的卷積運算時易受到FPGA中乘法器數量的限制；其次，實現卷積運算的關鍵計算路徑是決定FPGA的加速系統的計算效率的關鍵因素，卷積運算的關鍵計算路徑越短，執(zhí)行卷積運算的速度就越快，且由卷積計算帶來的動態(tài)功耗也會降低。例如申請公布號為CN111008691A，名稱為“一種權值和激活值都二值化的卷積神經網絡加速器架構”的專利申請，公開了一種基于FPGA的權值和激活值都二值化的卷積神經網絡加速器，該加速器中通過不同存儲器儲存權值數據與特征圖數據，并利用由異或模塊和累加模塊構成的兩類運算器去分別完成對應的卷積層運算與全連接層運算，通過邏輯資源完成的異或邏輯運算替代卷積層運算與全連接層運算中需要由乘法器完成的乘法運算，使得加速器的運算速度不再受到FPGA中乘法器數量的限制，同時，每個運算器中異或模塊和累加模塊采用并行計算結構，對加速器的運算過程產生加速效果；但其存在的不足之處在于：1、該加速器卷積層運算與全連接層運算中的卷積運算由異或邏輯與累加操作組合完成，卷積運算的關鍵計算路徑長，導致卷積運算的計算速度易受到異或邏輯與累加操作組合的串行計算方式的限制；2、該加速器參與卷積層運算與全連接層運算中的卷積運算的卷積核尺寸為a×a的對稱卷積核，計算開銷較大，完成對應的卷積運算需要占用的邏輯資源較多。

發(fā)明內容

本發(fā)明的目的在于針對上述現有技術的缺陷，提出一種基于FPGA的二值化神經網絡的加速系統，用于解決現有技術中存在的卷積運算的關鍵計算路徑長導致的計算速度易受到串行計算限制，且資源占用較多的技術問題。

為實現上述目的，本發(fā)明采取的技術方案為：