[發明專利]一種面向物聯網領域的動態可重構卷積神經網絡加速器架構

有效

• 申請號: 201811149741.0
• 申請日: 2018-09-29
• 公開（公告）號: CN109447241B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 楊晨;王逸洲;王小力;耿莉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

本發明一種面向物聯網領域的動態可重構卷積神經網絡加速器架構，包括緩存架構等，緩存架構用于存儲來自儲外部存儲器的數據或者計算過程中產生的數據，將其組織、排列后，以數據結構傳送到處理單元陣列中進行計算；處理單元陣列用于接收來自緩存架構的數據，進行卷積操作處理后存儲在緩存架構中；計算模塊用于接收來自處理單元陣列的數據，選擇進行池化、標準化、或者激活函數三種操作，并將輸出數據存儲在緩存架構中；控制器用于向緩存架構、處理單元陣列和計算模塊發送命令，并設計有外部接口，用于和外部系統進行通信。本發明通過設計高并行度、高利用率的處理單元陣列以及可提升數據復用率的緩存架構提高卷積神經網絡加速器的性能，降低功耗。

技術領域

本發明屬于神經網絡加速器領域，尤其涉及一種面向物聯網領域的動態可重構卷積神經網絡加速器架構。

背景技術

人工智能是目前熱門的計算機科學之一，作為實現人工智能的主要方式，深度學習也得到了深遠的發展，隨著網絡層數和每層神經元個數的增加，模型的計算復雜度會隨著網絡規模增大以指數增長。所以深度學習算法的學習速度和運行速度瓶頸越來越依賴于云計算等大規模計算平臺。對于深度學習算法的硬件加速，目前通常有三類實現方式——多核CPU、GPU和FPGA，它們的共同特點是可以實現高并行度的計算。然而，現有的硬件實現方式功耗較高，還存在著能量效率(性能/功耗)較低的問題，并不能應用在智能移動終端上，例如智能手機、可穿戴設備或者是自動駕駛汽車等。在此背景下，可重構處理器已經被證明是一種兼具高靈活性和高能量效率的并行計算架構形式，它的優勢在于可以根據不同的模型大小來選擇合適的資源配置策略，擴大專用處理器使用范圍的同時提高處理性能，是多核CPU和FPGA技術進一步發展受到限制的解決途徑之一，有可能成為未來實現高效能深度學習SoC的方案之一。

卷積神經網絡加速器首先要滿足可重構，可配置的要求，支持算法層面上網絡結構的不斷演進，滿足豐富多樣的應用場景；其次要滿足高性能、低能耗的要求，需要克存儲帶寬限制，充分利用硬件資源。

發明內容

本發明的目的在于提供一種面向物聯網領域的動態可重構卷積神經網絡加速器架構，其通過設計高并行度、高利用率的處理單元陣列以及可提升數據復用率的緩存架構提高卷積神經網絡加速器的性能，降低功耗，同時設計具有一定的可配置性，可適用于多種應用場景。

本發明采用如下技術方案來實現的：

一種面向物聯網領域的動態可重構卷積神經網絡加速器架構，包括緩存架構、處理單元陣列、計算模塊和控制器；其中，

緩存架構用于存儲來自儲外部存儲器的數據或者計算過程中產生的數據，將其組織、排列后，以預設的數據結構傳送到處理單元陣列中進行計算；處理單元陣列用于接收來自緩存架構的數據，進行卷積操作處理后存儲在緩存架構中；計算模塊用于接收來自處理單元陣列的數據，選擇進行池化、標準化、或者激活函數三種操作，并將輸出數據存儲在緩存架構中；控制器用于向緩存架構、處理單元陣列和計算模塊發送命令，并設計有外部接口，用于和外部系統進行通信。

本發明進一步的改進在于，緩存架構由輸入數據緩存、卷積核緩存和輸出數據緩存組成；控制器的輸出端與輸入數據緩存的輸入端、卷積核緩存的輸入端和輸出數據緩存的輸入端連接，輸入數據緩存的輸出端和卷積核緩存的輸出端與處理單元陣列的輸入端連接，處理單元陣列的輸出端與計算模塊的輸入端連接，計算模塊的輸出端與輸出數據緩存的輸入端連接；

輸入數據緩存用于接收多輸入通道的輸入圖像數據，并同時將多個輸入通道的數據傳送至處理單元陣列進行運算；卷積核數據緩存用于接收多輸入通道的卷積核數據，并同時將多個輸入通道的數據傳送至處理單元陣列進行運算；輸出數據緩存用于存儲來自計算模塊或者處理單元陣列中產生的中間數據，并且將數據通過控制器傳送至外部系統。

本發明進一步的改進在于，處理單元陣列由20個處理單元組成，每個處理單元均由輸入數據轉換模塊、卷積核轉換模塊、乘法器、輸出數據轉換模塊和通道累加模塊組成；