[發明專利]應用于二值化卷積神經網絡的硬件加速器及其數據處理方法

有效

• 申請號: 201911055498.0
• 申請日: 2019-10-31
• 公開（公告）號: CN110780923B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 杜高明;涂振興;陳邦溢;楊振文;張多利;宋宇鯤;李楨旻
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種應用于二值化卷積神經網絡的硬件加速器及其數據處理方法，該硬件加速器包括：神經網絡參數存儲模塊、矩陣生成器模塊、卷積計算陣列模塊、池化層模塊以及全局控制模塊；神經網絡參數存儲模塊中預存有二值化灰度圖片和每一層的神經網絡訓練參數；矩陣生成器負責準備卷積運算的輸入數據；卷積計算陣列負責卷積層的卷積計算；池化層模塊負責對卷積層的輸出進行池化操作；全局控制模塊負責控制整個系統正常工作。本發明旨在更加提升卷積神經網絡運行速度，減少網絡部署在硬件平臺上消耗的資源以及計算資源，同時也減低網絡運行的功耗。

技術領域

本發明屬于人工智能硬件設計領域，尤其涉及一種應用于二值化卷積神經網絡的加速器及其數據處理方法。

背景技術

卷積神經網絡源自于人工神經網絡。作為一種多層感知網絡，對圖像的旋轉、按比例縮小或者放大以及圖像的平移等多種圖像變換形式具有很強的適應性，可以快速提取圖像特征。它采用權值共享網絡結構，這種結構與生物神經網絡結構具有很強的相似性，這樣的結構減少了權值的數量，從而降低了網絡模型的復雜度，當對網絡輸入多維圖像時這樣的優點體現的更為明顯，使圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。

數字雖然筆畫簡單，類型只有十種。但由于數字筆畫比較簡單，差別相對較小，手寫數字形狀的千差萬別導致識別難度增大，精度較低。而使用卷積神經網絡可以大大提高識別精度，目前識別率已經可以達到99.33％。但是，在有些識別過程中，需要很快的識別速度，并且高精度。

卷積神經網絡雖然具有以上優點，但是不可避免的需要進行大量的卷積計算，圖像分辨率越高，卷積步長越小，需要的計算資源更多。同時，傳統的卷積網絡在訓練階段和測試階段的輸入圖片、中間結果特征圖采用全精度數據表示，此類型數據要實現乘法、加法操作需要大量DSP資源，同時訓練階段花費的時間也讓人難以接受。

現階段，人們通過將卷積神經網絡部署在FPGA上，實現網絡的加速，也有不少研究者通過將權重參數和中間特征圖的數據量化成1bit數據，大量減少訓練參數占用存儲空間，同時量化數據帶來的另一個好處就是卷積中包含的大量乘法和加法運算可以變成簡單的邏輯運算，大大減少占用的計算資源，縮減了網絡訓練時間。然而，它們采用的眾多技術中，對第一層輸入的特征圖采用的仍然是全精度數據，需要為第一層計算設計特殊的計算單元，通用性差，資源消耗多和功耗損失大；傳統卷積采用乘累加與popcount算法的策略，沒有最大程度的利用FPGA內部資源，計算周期增加；同時采用卷積計算邊緣補+1或者-1的策略，邊緣數據仍然需要計算，運算量隨之增加，導致硬件資源消耗變大、計算周期增加。

發明內容

本發明為了在現有的技術之上，提出一種應用于二值化卷積神經網絡的硬件加速器及其數據處理方法，旨在更加提升卷積神經網絡訓練速度，減少網絡部署在硬件平臺上消耗的資源以及計算資源，同時也減低網絡運行的功耗。

本發明為達到上述目的所采用的技術方案是：

本發明一種應用于二值化卷積神經網絡的硬件加速器的特點是：所述二值化卷積神經網絡包括：K層二值化卷積層、K層激活函數層、K批量標準化層、K層池化層以及一層全連接分類輸出層；并將所述批量標準化層中的訓練參數個數合并為一個；

所述二值化卷積神經網絡對大小為N×M的輸入二值化灰度圖片進行訓練，得到每一層的神經網絡訓練參數；

所述的硬件加速電路包括：神經網絡參數存儲模塊、矩陣生成器模塊、卷積計算陣列模塊、池化層模塊以及全局控制模塊；

所述神經網絡參數存儲模塊中預存有所述輸入二值化灰度圖片和每一層的神經網絡訓練參數；所述神經網絡訓練參數包括：權重參數、批量標準化參數；且所存入的輸入二值化灰度圖片是以數據“0”表示所述二值化灰度圖片中像素點“-1”，以數據“1”表示所述二值化灰度圖片中像素點“1”；

所述矩陣生成器模塊是由數據輸入電路、特征圖的數據寄存器組、數據輸出電路組成；