[發明專利]通用處理器與神經網絡處理器的協同系統設計

有效

• 申請號: 201610695285.4
• 申請日: 2016-08-19
• 公開（公告）號: CN107657316B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 余金城;姚頌
• 申請（專利權）人: 北京深鑒智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

本發明涉及人工神經網絡(ANN)，例如卷積神經網絡(CNN)，尤其涉及如何基于通用處理器與神經網絡專用處理器的協同系統設計來實現人工神經網絡。

引用的優先申請

本申請要求在先提交的中國專利申請201610663201.9、“一種優化人工神經網絡的方法”和中國專利申請201610663563.8“一種用于實現ANN的深度處理單元”的優先權。

技術領域

本發明涉及人工神經網絡(ANN)，例如卷積神經網絡(CNN)，尤其涉及如何基于通用處理器與神經網絡處理器的協同系統設計來實現人工神經網絡。

背景技術

卷積神經網絡在當前圖像處理領域有著非常廣泛的應用，神經網絡有訓練方法簡單、計算結構統一的特點。但是神經網絡存儲計算量都很大。許多工作試圖在FPGA上搭建或者直接設計專用芯片來實現神經網絡的加速器。但是，由于專用神經網絡加速硬件靈活性還是受限，能夠完成的任務過于單一。

發明人姚頌等發表的文章“Going Deeper With Embedded FPGA Platform forConvolutional Neural Network”(2016.2)描述了一種利用FPGA的加速系統，其中用到通用處理器(例如，ARM)來完成一些FPGA沒有辦法完成的計算。例如，ARM負責傳輸指令以及準備數據。

發明內容

在上述文章的基礎上，發明人提出了進一步的改進。本申請提出了結合神經網絡專用處理器與通用處理器(CPU)而提供一個靈活的系統，能夠適用于復雜的神經網絡。

根據本發明的一方面，提出了一種用于運行人工神經網絡(ANN)的深度處理單元(DPU)，包括：CPU，用于調度可編程處理模塊(PL)和直接存儲器訪問器(DMA)；直接存儲器訪問器(DMA)，分別與所述CPU、可編程處理模塊和外部存儲器連接，用于所述CPU和和可編程處理模塊之間的通信；可編程處理器模塊(PL)，包括：控制器(Controller)，用于獲取指令，并基于所述指令對計算核進行調度，計算核(Computing Complex)，包括多個計算單元(PE)，用于基于指令和數據進行計算任務，緩沖區(buffer)，用于保存所述可編程處理器模塊使用的數據和指令；外部存儲器(DDR)，與所述CPU、DMA連接，用于保存：用于實現ANN的指令和需要被ANN處理的數據；所述CPU控制所述DMA以在所述外部存儲器和所述可編程邏輯模塊之間傳輸指令和數據。

此外，所述DMA通過FIFO在所述外部存儲器和所述可編程處理模塊之間傳輸數據；所述DMA通過FIFO在所述外部存儲器和所述可編程處理模塊之間傳輸指令。

根據本發明的另一方面，提出了一種用于運行人工神經網絡(ANN)的深度處理單元(DPU)，包括：CPU，用于調度可編程處理模塊(PL)和直接存儲器訪問器(DMA)；直接存儲器訪問器(DMA)，分別與所述CPU、可編程處理模塊和外部存儲器連接，用于所述CPU和和可編程處理模塊之間的通信；可編程處理器模塊(PL)，包括：控制器(Controller)，用于獲取指令，并基于所述指令對計算核進行調度，計算核(Computing Complex)，包括多個計算單元(PE)，用于基于指令和數據進行計算任務，緩沖區(buffer)，用于保存所述可編程處理器模塊使用的數據和指令；外部存儲器(DDR)，與所述CPU、DMA和可編程邏輯模塊連接，用于保存：用于實現ANN的指令和需要被ANN處理的數據；其中所述CPU控制所述DMA在所述外部存儲器和所述可編程邏輯模塊之間傳輸指令；其中所述可編程邏輯模塊和所述外部存儲器直接傳輸數據。

此外，所述DMA和所述可編程處理模塊之間通過FIFO傳輸指令。

此外，所述CPU還包括：狀態監視模塊，用于監視所述可編程邏輯模塊的有限狀態機(FSM)的狀態。