[發明專利]一種兼容型神經網絡加速器及數據處理方法

有效

• 申請號: 201810244109.8
• 申請日: 2018-03-23
• 公開（公告）號: CN108734270B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 韓銀和;閔豐;許浩博;王穎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明涉及一種兼容型神經網絡加速器，包括存儲單元，用于存儲神經元數據、權值數據及控制指令并輸出；矩陣運算單元，用于根據所述控制指令從所述存儲單元接收數據并針對所述接收的數據執行矩陣運算并輸出運算結果；模式運算單元，包括多個功能模塊，所述功能模塊可用于從所述矩陣運算單元和/所述激活單元和/或所述存儲單元或接收數據，并根據所述控制指令針對所述接收的數據執行與網絡對應的特定運算并輸出運算結果；激活單元，用于從所述模式運算單元和/或所述存儲單元接收數據，并針對所述接收的數據執行激活操作并輸出激活結果。

技術領域

本發明涉及計算領域，特別涉及一種面向LSTM與CNN的兼容型神經網絡加速器及數據處理方法。

背景技術

神經網絡是人工智能領域具有高發展水平的感知模型之一，一經出現就成為了學術界和工業界的研究熱點，隨著研究的不斷深入，不同類型的神經網絡被相繼提出，例如，卷積神經網絡(CNN，Convolutional Neural Network)和長短期記憶網絡(LSTM,LongShort-Term Memory)。

CNN是一種包含了卷積層的前饋神經網絡，常被用于語音識別、人臉識別、運動分析、自然語言處理等；LSTM網絡是一種時間遞歸的循環神經網絡，常被用于學習語言翻譯、機器人控制、圖像分析等。由于這兩種網絡的運算過程存在差異，通常需要使用專用的神經網絡加速器進行數據處理，這就限制了神經網絡加速器的普適性。

因此，需要一種既適用于CNN又適用于LSTM網絡的神經網絡加速器及數據處理方法。

發明內容

本發明提供一種面向LSTM與CNN的兼容型神經網絡加速器，包括存儲單元，用于存儲神經元數據、權值數據及控制指令并輸出；矩陣運算單元，用于根據所述控制指令從所述存儲單元接收數據并針對所述接收的數據執行矩陣運算并輸出運算結果；模式運算單元，包括多個功能模塊，所述功能模塊可用于從所述矩陣運算單元和/所述激活單元和/或所述存儲單元或接收數據，并根據所述控制指令針對所述接收的數據執行與網絡對應的特定運算并輸出運算結果；激活單元，用于從所述模式運算單元和/或所述存儲單元接收數據，并針對所述接收的數據執行激活操作并輸出激活結果。

優選的，所述特定神經網絡是LSTM網絡及其變異體網絡或者CNN。

優選的，所述功能模塊是用于執行部分加操作的累加模塊、用于執行向量平行乘法和累加運算的向量平行乘累加模塊、用于執行向量取反或減法的多功能運算模塊和執行池化操作的池化模塊。

優選的，若所述神經網絡是LSTM網絡及其變異體，所述控制單元將調用所述模式運算單元中的累加模塊、向量平行乘累加模塊以及多功能運算模塊中的若干模塊進行運算。

優選的，若所述神經網絡是CNN，所述控制單元將調用所述模式運算單元中的池化模塊進行運算。

優選的，矩陣運算單元包括用于執行向量乘法結果相互累加運算的相互累加運算模塊和用于執行多組向量乘法結果平行自累加運算的自累加運算模塊。

優選的，所述神經網絡加速器還包括控制單元，用于控制所述存儲單元、所述矩陣運算單元、所述激活單元以及所述模式運算單元針對特定神經網絡的運算。

根據本發明的一個方面，還提供一種利用如上所述的神經網絡加速器進行數據處理的方法，包括以下步驟：

接收并分析神經網絡參數，確定計算模式；

根據所述計算模式調用矩陣運算單元、激活單元和相應的功能模塊；

利用所述調用的單元及模塊執行相應運算并輸出計算結果。

優選的，若所述計算模式為LSTM網絡計算模式，可利用所述功能模塊執行與LSTM或LSTM變異體模型相關的運算。