[發明專利]一種可重構神經網絡處理器

有效

• 申請號: 202110407002.2
• 申請日: 2021-04-15
• 公開（公告）號: CN113240074B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 陳亮;徐東君;宋文娜
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06F9/38
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種可重構神經網絡處理器，所述處理器包括指令編譯模塊、模型映射模塊、計算陣列控制模塊和計算陣列；所述指令編譯模塊用于將待運行的各神經網絡應用程序編譯為網絡運算指令；所述模型映射模塊用于匹配網絡運算指令對應的微操作碼，并通過索引所述微操作碼將對應神經網絡應用程序映射到所述計算陣列，得到各神經網絡應用程序在所述計算陣列上的計算單元集合；所述計算陣列控制模塊用于控制各計算單元集合針對對應神經網絡應用程序的讀寫和計算。本發明提供的處理器，實現支持多個神經網絡的并行加速計算以及多個神經網絡的協同計算，提高計算資源的利用率和神經網絡并行處理能力。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種可重構神經網絡處理器。

背景技術

神經網絡的發展應用不斷推進人工智能技術的進步，廣泛應用于圖像、語音、文字處理領域。為解決復雜神經網絡的計算速度、功耗等問題，針對神經網絡的硬件加速器也備受關注。而由于傳統CPU(Central Processing Unit，中央處理器)更注重于功能的通用性及控制的完整性，從而在架構設計上需要支持更多復雜的指令和更多樣的中斷切換，使其在復雜神經網絡加速上性能較差。

目前，為了提升神經網絡并行計算能力，基于GPU(Graphics Processing Unit，圖形處理器)、FPGA(Field Programmable Gate Array，現場可編程門陣)、ASIC(ApplicationSpecific Integrated Circuit，專用集成電路)的加速計算方法和架構層出不窮，但都存在一定的問題：在大規模神經網絡訓練和推理計算上，GPU中大量的SIMD(SingleInstruction Multiple Data，單指令多數據)流計算資源可以極大提升并行加速能力，但計算資源冗余較多和功耗較大成為提升性能的瓶頸；基于FPGA的加速器在算法支持上不如GPU靈活，硬件編程時間相對較長，但其資源利用率和能效相對較高；采用ASIC的硬件加速器在性能和功耗方面都有很不錯的表現，但其為了更高能效往往采用相對固定的神經網絡任務模型，在算法更新迭代上難以跟進。

可重構計算芯片的架構設計具有類似FPGA的可配置能力，同時在性能和功耗方面與ASIC相近，然而，現有可重構神經網絡加速方法的架構大都只注重于通過不同配置情況支持單網絡計算任務，無法支持多個神經網絡的并行計算。

發明內容

本發明提供一種可重構神經網絡處理器，用以解決現有技術中無法支持多個神經網絡的并行計算的缺陷，實現支持多個神經網絡的并行計算。

本發明提供一種可重構神經網絡處理器，包括指令編譯模塊、模型映射模塊、計算陣列控制模塊和計算陣列；

所述指令編譯模塊用于將待運行的各神經網絡應用程序編譯為網絡運算指令；

所述模型映射模塊用于匹配網絡運算指令對應的微操作碼，并通過索引所述微操作碼將對應神經網絡應用程序映射到所述計算陣列，得到各神經網絡應用程序在所述計算陣列上的計算單元集合；任一計算單元集合用于獨立計算對應神經網絡應用程序的計算任務，或者用于與其余若干個計算單元集合協同計算各自對應的神經網絡應用程序的計算任務，協同計算時各計算單元集合共享存儲空間；

所述計算陣列控制模塊用于控制各計算單元集合針對對應神經網絡應用程序的讀寫和計算。

根據本發明提供的可重構神經網絡處理器，各計算單元集合由若干個相鄰的計算列構成，所述計算列為所述計算陣列中的一列計算單元；

各計算單元的兩側分設有移位緩存器；

當任一計算列單獨構成一個計算單元集合時，所述任一計算列用于單獨執行對應神經網絡應用程序，所述任一計算列中各計算單元兩側的移位緩存器處于使能狀態；