[發明專利]一種神經網絡加速器的通用計算電路

有效

• 申請號: 201911055499.5
• 申請日: 2019-10-31
• 公開（公告）號: CN110807522B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 杜高明;任宇翔;曹紅芳;張多利;田超;宋宇鯤;李楨旻
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種神經網路加速器的通用計算模塊電路，是由m個通用計算模塊PE組成，任意第i個通用計算模塊PE是由RAM、2ⁿ個乘法器、加法器樹、級聯加法器、偏置加法器以及先入先出隊列和ReLu激活函數模塊組成，并利用單PE卷積配置、級聯PE卷積配置、單PE全連接配置圖和級聯PE全連接配置來分別搭建不同的神經網絡的計算電路。本發明能根據神經網絡加速器的變量來配置通用計算電路，從而使搭建或修改神經網絡更加簡單、方便和快捷，縮短神經網絡的推理時間，降低相關深入研究的硬件開發時間。

技術領域

本發明屬于集成電路的現場可編程門陣列(FieldProgrammable Gate Array，FPGA)設計技術領域，具體的說是神經網絡加速器的通用計算模塊電路。

背景技術

2012年，AlexNet奪得大規模視覺識別挑戰的冠軍，深度神經網絡重新成為研究熱點，其中對卷積神經網絡的研究受到越來越多的關注，己被廣泛應用于數字視頻監控，人臉識別，圖像分類等領域。卷積神經網絡的學習過程會用到大量的迭代運算和數據讀取，CPU因為內核數目有限，無法充分利用神經網絡內部存在的并行性特點。為了提高卷積神經網絡的計算速度，目前研究者已經提出了基于GPU，FPGA和ASIC的卷積神經網絡硬件架構，其中基于GPU的開發已經在眾多的領域廣泛應用。在這些平臺中，FPGA作為一種計算密集型的器件，芯片上提供了許多專用的算術計算單元、邏輯模塊資源和片內的存儲資源，使得卷積神經網絡的各個計算單元可以在FPGA上并行執行，因此FPGA很適合作為卷積神經網絡的硬件加速器。另一方面，FPGA具有靈活性和高效性的特點，芯片的功耗比GPU低得多，而芯片體積較小和成本相對ASIC芯片更低，可以非常方便地應用到各個需要隨時進行在線圖像或聲音處理的電子產品中，比如金融預測、人工智能機器人、醫療診斷等，而且FPGA編程靈活，易于產品升級和維護，產品的設計周期和上市時間都相對較短。卷積神經網絡在FPGA平臺的加速研究仍然處于起步階段，沒有在各個商業領域得到廣泛應用；

雖然目前的FPGA平臺能夠實現卷積神經網絡開發，但是平臺也存在著局限性：

1)FPGA平臺在利用硬件描述語言進行卷積神經網絡開發時，缺少模塊化的硬件電路設計，調試繁瑣，卷積神經網絡的硬件開發周期長；

2)由于FPGA傳統的開發方式是利用硬件描述語言描述電路行為，在設計搭建神經網絡時，需要考慮所搭建的神經網絡的各種變量，如卷積核尺寸、特征圖數量、卷積層數量、全連接層數量和網絡輸出類別等，對諸如卷積層、池化層、全連接層和激活函數層等基本組件的硬件設計比較死板，靈活性差，如果神經網絡的一些變量改變，就需要重新利用硬件描述語言描述底層的電路行為，通用性差；

發明內容

本發明為了解決上述現有技術存在的不足之處，提出了一種神經網絡加速器的通用計算電路，以期能提高計算模塊PE的通用性和靈活性，從而提高神經網絡加速器的性能，并降低硬件開發時間。

本發明為達到上述目的所采用的技術方案是：

本發明一種神經網絡加速器的通用計算電路的特點是由m個通用計算模塊PE組成，任意第i個通用計算模塊PE是由RAM、2ⁿ個乘法器、加法器樹、級聯加法器、偏置加法器以及先入先出隊列和ReLu激活函數模塊組成；

在當前周期下，2ⁿ個乘法器從所述RAM中獲取所存儲的權重數據，并接收外部輸入的計算數據并進行處理，得到當前周期下的2ⁿ個乘積后傳遞給所述加法器樹；

所述加法器樹對當前周期下的2ⁿ個乘積進行累加處理，得到當前周期下的累加和后存入所述先入先出隊列中；

所述先入先出隊列將當前周期下的累加和讀取并傳給所述級聯加法器；

所述級聯加法器接收當前周期下的累加和，并與不同配置下的級聯輸入進行計算，得到當前周期下的第i個級聯加法器的級聯輸出；