[發明專利]一種深度卷積神經網絡硬件并行加速器的硬件裝置及方法

在審

• 申請號: 201910269470.0
• 申請日: 2019-04-04
• 公開（公告）號: CN111783966A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 林森;何一波;李玨
• 申請（專利權）人: 北京芯啟科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 李冬梅;苗源

本發明實現了一種用于深度卷積神經網絡硬件并行加速裝置及方法。其裝置包括：特別設計的數據載入裝置，對上述算法所需數據進行特定的提取、排布；并行計算執行單元陣列；特別設計的數據輸出裝置，對執行陣列的輸出進行特定的提取、排布及存回控制；其他向量或/和標量特殊執行單元及其存取數據裝置，可加速各種其他關鍵算子；中央控制裝置，通過可編程指令控制、調度上述4個子裝置；所述5個子裝置中均設置有特殊的存儲及緩沖區域，對指令以及中間數據壓縮和緩存。本發明在對該知識領域特定算子硬件化的基礎上優化了并行計算單元的計算機制，形成一套圍繞數據調度的計算機制，為嵌入式端側AI加速芯片實現而進行了優化。

技術領域

本發明屬于計算機硬件、人工神經網絡算法部署硬件加速的領域，具體涉及一種芯片上深度卷積神經網絡加速器的硬件并行運算裝置及方法。

背景技術

深度卷積神經網絡是人工神經網絡的一種，屬于機器學習算法模型，由多層具體的神經元算法層、隱藏層組成。它可以根據一組數據張量輸入，例如圖像幀構成的張量，產生一組數據向量輸出，例如分類結果的標志或標簽與坐標等信息。它的每一層都對輸入數據進行特征抽取、激活、采樣等運算，輸出給下一層的輸入。每一層的構成包括算子、算法結構和計算參數，比如卷積核或計算權重參數，它們是在一套神經網絡算法創建后，在針對一組數據做訓練的過程中選擇、提取得到的。在面對同類數據、專門領域的應用場景中，將上述算子、算法結構和計算參數部署在特定的加速芯片中，就能發揮訓練所指向的功能結果，例如輸出物體分類結果或所要識別物體的相關信息。

近年來，深度卷積神經網絡在多個應用領域越來越得到深入研究并被廣泛接受。它大部分都由卷積計算層構成，還包括一些其他算法層。同時在許多行業應用領域，進過對人工神經網絡算法的探索，在所需算力與預測精度、正確率的折中下，較為固定的算法開始出現。在嵌入式端側部署人工神經算法已經成為廣泛需求，但芯片的性能、成本等因素已成為了需求的瓶頸要素。專利文件1(公開號CN105488565A)公開了一種加速深度神經網絡算法的加速芯片的運算裝置及方法，通過全面將算子硬件化、指令化，形成一套AI指令集及其加速處理器。但由于該裝置及方法考慮過多計算任務的融合與編程的靈活性，數據處理的顆粒度較小，還需要與其他高性能的數據排布裝置配合方能發揮功效，帶來其裝置芯片化、產品化的總體成本高，以致該裝置的應用趨勢靠向了大型服務器、云測等高成本、高性能場景。

當前在機器學習算法領域的研究表明，理論算法要與特定領域、產業場景結合，且此前單一的算法之間要進行再聯接和在線配合部署，經過多種算法處理的結果才能在實際中應用。因此，既要考慮大量計算數據的存儲成本，同時還要在多種人工神經算法之間能夠快速切換配置，針對領域、產業場景可配置可裁剪的設計裝置，才符合嵌入式端側神經網絡部署加速芯片的設計理念。

發明內容

本發明的目的在于，提供一種深度卷積神經網絡硬件并行加速器的硬件裝置及方法，能夠以低成本、低功耗的芯片工藝節點和較低的主存儲成本提供合理的算力，令多個深度卷積神經網絡同時能夠部署并切換工作，在特定實時要求時間內完成共同的判斷、分類或檢測功能。

本發明的深度卷積神經網絡硬件并行加速器的硬件裝置，包括：

并行乘、加計算執行單元陣列，以執行矩陣或/和向量數據的乘法、加減法的并行運算為主，由一個個乘、加減以及其他基礎算子構成的單個神經元硬件模塊組成；

數據載入裝置，對上述深度卷積神經網絡算法所需要的大量數據進行提取、排布及輸入，以及相關的控制；

數據輸出裝置，對計算執行單元陣列的輸出結果進行提取、排布及存回，以及相關的控制；

向量或/和標量其他特殊計算執行單元及其存取數據裝置，對深度卷積神經網絡算法中的其他關鍵算子進行加速執行；

中央控制裝置，通過可編程指令完成對上述4個子裝置的總體控制、調度；