[發明專利]一種卷積神經網絡加速器實現架構

有效

• 申請號: 201911076768.6
• 申請日: 2019-11-06
• 公開（公告）號: CN111008697B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 毛寧;黃志洪;楊海鋼
• 申請（專利權）人: 北京中科勝芯科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 南京行高知識產權代理有限公司 32404
• 代理人: 李曉

本發明涉及一種卷積神經網絡加速器實現架構，包括：用于存儲權值數據的第一存儲器、第二存儲器、第三存儲器和第四存儲器；用于存儲特征圖數據的第六存儲器、第八存儲器和第十存儲器，用于進行卷積運算的第五運算器、第七運算器、第九運算器和第十一運算器。本發明提供的卷積神經網絡加速器實現架構；能夠減少存儲資源消耗；利用卷積神經網絡內部輸入特征圖之間的并行性，輸出特征圖之間的并行性，實現并行度的靈活配置。

技術領域

本發明涉及一種卷積神經網絡加速器實現架構，屬于集成電路設計技術領域。

背景技術

近些年來，深度學習在圖像識別等領域獲得了快速的發展。而卷積神經網絡作為深度學習領域中重要的算法之一，在圖像識別，圖像定位等領域占據了重要地位。由于卷積神經網絡的計算量與存儲量都非常大，因此通過通用計算平臺CPU處理卷積神經網絡存在著性能不足的缺點。與此同時，GPU在處理卷積神經網絡中能獲得高性能，但GPU存在著功耗大的缺點。而ASIC具有高能效比的優點，但是通用性不足。

卷積神經網絡主要由卷積層，激活層，池化層，歸一化層，全連接層等構成。卷積層是卷積神經網絡的核心部分，在卷積層中，對于每一個輸出特征圖，會有不同的輸入特征圖和不同的卷積核卷積，所得到的結果會經過相加來得到一張輸出特征圖。激活層和池化層一般在卷積層后面，激活層對卷積得到的結果進行非線性化操作。池化層可以減少特征圖的尺寸，通常的池化方法包括平均池化和最大池化。歸一化層將一層的輸出特征圖做數據歸一化。全連接層一般處于卷積神經網絡中的最后幾層，通常用作分類層，分類對象的數目就是全連接層的輸出神經元數目。由此可見，卷積神經網絡算法具有復雜性、數據量大和運算規模大的特點。

發明內容

本發明要解決技術問題是：克服上述技術的缺點，提供一種以PFGA作為計算平臺，從而在功耗和性能之間取得較好平衡的卷積神經網絡加速器實現架構。

為了解決上述技術問題，本發明提出的技術方案是： 一種卷積神經網絡加速器實現架構，包括：用于存儲權值數據的第一存儲器、第二存儲器、第三存儲器和第四存儲器；用于存儲特征圖數據的第六存儲器、第八存儲器和第十存儲器，用于進行卷積運算的第五運算器、第七運算器、第九運算器和第十一運算器；所述第一存儲器的輸出連接所述第五運算器；所述第五運算器的輸出連接所述第六存儲器；所述第二存儲器和第六存儲器的輸出連接所述第七運算器；所述第七運算器的輸出連接所述第八存儲器；所述第三存儲器和第八存儲器的輸出連接所述第九運算器，所述第九運算器的輸出連接所述第十存儲器；所述第四存儲器和所述第十存儲器的輸出連接所述第十一運算器；所述第一存儲器、第五運算器和第六存儲器構成第一層運算；所述第二存儲器、第六存儲器、第七運算器和第八存儲器構成第二層運算；所述第三存儲器、第八存儲器、第九運算器和第十存儲器構成第二層運算；所述第四存儲器、第十存儲器和第十一運算器構成第四層運算。

上述方案進一步的改進在于：所述第五運算器、第七運算器、第九運算器和第十一運算器由FPGA中的DSP構成。

上述方案進一步的改進在于：所述第一層運算、第二層運算、第三層運算和第四層運算中，奇數層運算開始同時進行計算，并在計算完成后停止計算，而后偶數層開始同時進行計算，并在計算完成后停止計算，之后奇數層再次開始同時進行計算；如此循環，形成奇數層與偶數層交替進行計算的循環。

上述方案進一步的改進在于：所述第一存儲器、第二存儲器、第三存儲器、第四存儲器、第六存儲器、第八存儲器和第十存儲器由FPGA中的存儲器構成。

本發明提供的卷積神經網絡加速器實現架構，通過不同層之間的交替運算，可以減少存儲器的資源消耗。在計算過程中將卷積層，激活層，池化層的所有操作全部進行完畢后再將運算結果進行存儲，可以減小存儲器的資源消耗。通過利用卷積神經網絡內部輸入特征圖之間的并行性和輸出特征圖之間的并行性，可以為每層網絡配置特定的不同的并行度，從而使計算資源得到充分利用，使得計算性能和吞吐量得到提高。通過將卷積神經網絡中的偏置數據和權值數據放在一起，可以減小卷積之后的加偏置操作所占用的時間，提高計算速度。