[發明專利]一種用于二值化神經網絡的加速器結構及循環展開方法

有效

• 申請號: 202010631640.8
• 申請日: 2020-07-03
• 公開（公告）號: CN111797977B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 張國和;趙科芃;孫莉;梁峰;陳琳;丁莎
• 申請（專利權）人: 西安交通大學;南京擬態智能技術研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開了一種用于二值化神經網絡的加速器結構及循環展開方法，針對權值為1bit，特征值為n bit的硬件加速器結構，本發明包括加速器的硬件結構設計和針對二值化神經網絡優化的循環展開結構和權值、特征值在SRAM中的存放順序。硬件結構包括權值、特征值存儲SRAM，專用卷積計算模塊和加法樹單元。專用卷積模塊設計了新的卷積計算方式，加法樹保證了數據的流水線運行。本發明使用的循環展開方式與累加器配合可以讓加速器擁有非常好的可擴展性，可以根據網絡復雜程度和硬件資源自由決定塊K的大小，而不用改變電路的控制邏輯。配合此循環展開方式本發明還提出了一種權值和特征值的存放順序，來簡化存取邏輯。

技術領域

本發明涉及集成電路技術領域，尤其涉及一種用于二值化神經網絡的加速器結構及循環展開方法。

背景技術

卷積神經網絡算法是近年來研究的熱點，卷積神經網絡算法是人們通過對大腦神經元的簡單的模仿，結合大量的統計學的知識，設計出的一種計算系統。主要分為兩部分，訓練階段和推理階段，在訓練階段，通過大量的數據集，來調整網絡中各個節點的權值，在推理階

段，將需要處理的圖片或者其他信號輸入系統中，經過計算就可以得出該信號的特征值。卷積神經網絡算法在目標識別、圖像處理、人臉檢測等應用方向相比傳統算法有較大優勢。但傳統的通用處理器(CPU)已經無法適應如今神經網絡算法對硬件的需求，因此，為其設計專用的新型神經網絡加速器也是目前熱門的研究課題。

二值化神經網絡是加速技術中權重系數壓縮的一個方向，為了減少系數的存儲空間，提高運算速度，權值從最開始的32bit浮點數到8bit定點數再到本發明所涉及的1bit數，因此之前針對普通卷積神經網絡算法的通用加速器在加速二值化網絡時會有大量計算資源冗余，無法達到最佳效率，經典的XNOR-POPCONUT結構的二值化加速器采用了同或操作和pop count操作來代替乘法和累加，但只能使用在權值和輸入都為1bit的算法上，因此需要針對權值為1bit，輸入為n bit的算法來設計硬件加速器并設計合適的控制邏輯。

發明內容

本發明提供了一種用于權值1bit，輸入為n bit的二值化卷積神經網絡加速器的結構設計和一種循環展開方法。該結構具有非常好的可擴展性，可以根據實際電路資源的多少來調整加速器的規模。有非常好的計算效率，可以讓加速器流水線運行，按照設計好的順序來一次排序權值，簡化了權值讀取邏輯。并為其設計了新的計算單元，減少了電路消耗。

為了達到上述目的，本發明所述的用于二值化神經網絡的硬件加速器結構采用了如下的技術方案實現：

一種用于二值化神經網絡的加速器結構，加速器包括兩塊特征值SRAM，位寬為n*K，K塊權值SRAM，位寬為K，K個專用卷積計算模塊，K個加法樹單元，K個累加器，特征值SRAM和K個權值SRAM分別連接K個專用卷積計算模塊作為輸入，每個卷積計算模塊的輸出連接到相對應的加法樹單元，計算結果再連接到每個累加器，所有累加器的結果全部接入另一塊特征值SRAM，K值可以根據算法自行調節，一般為2的指數冪。

整體結構由權值和特征值的存儲SRAM，專用計算模塊，加法樹單元和累加器組成，專用計算模塊的輸入端為權值和特征值的存儲SRAM，輸出結果輸出到加法數單元內，為了滿足流水線計算，加法樹內共有(K²-1)個加法器組成依次減半的陣列。最后數據進入到累加器中完成累加，累加完成后輸入到第二個特征值存儲SRAM中當作下一層卷積計算的輸入特征值。

本發明為了提高結構的可配置性，K為可調節量，可以根據不同的卷積網絡大小和電路資源的多少來進行設置，最好滿足CIN和COUT都是K的整數倍，并且修改K之后，控制邏輯不需要變化。

每個專用卷積計算模塊同時完成K個位寬為n bit的特征值與1bit的權重值的如下計算，

f＝f⊙w+(～w)

特征值的每一位分別和權重值做同或運算再加上權重值的取反。