[發明專利]一種面向多變異體LSTM神經網絡加速器及數據處理方法

在審

• 申請號: 201810244102.6
• 申請日: 2018-03-23
• 公開（公告）號: CN108376285A
• 公開（公告）日: 2018-08-07
• 發明（設計）人: 韓銀和;閔豐;許浩博;王穎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種面向多變異體LSTM的神經網絡加速器，包括

存儲單元，用于存儲LSTM或其變異體網絡的神經元數據和權值數據并輸出；

矩陣乘法運算單元，用于從所述存儲單元接收數據并針對所述接收的數據執行矩陣乘法運算并輸出運算結果；

多功能運算單元，用于從所述矩陣乘法運算單元接收數據，并針對所述接收的數據執行與LSTM或其變異體網絡對應的特定運算并輸出運算結果；

激活單元，用于從所述多功能運算單元和/或所述存儲單元接收數據，并針對所述接收的數據執行激活操作并輸出激活結果；

向量平行乘法與加法單元，用于從所述激活單元和/或所述存儲單元接收數據，并針對所述接收的數據執行乘法和加法操作。

2.根據權利要求1所述的神經網絡加速器，其特征在于，所述向量乘法運算單元包括用于針對權值矩陣與拼接向量執行矩陣乘法運算的矩陣行計算陣列。

3.根據權利要求2所述的神經網絡加速器，其特征在于，所述向量乘法運算單元還包括用于針對指定門值間存在依賴關系時進行權值矩陣與指定門值向量執行矩陣乘法運算的矩陣列計算陣列。

4.根據權利要求3所述的神經網絡加速器，其特征在于，所述矩陣行計算陣列以所述權值矩陣行為單位執行對所述權值矩陣與所述拼接向量的乘運算。

5.根據權利要求4所述的神經網絡加速器，其特征在于，所述矩陣列計算陣列以所述權值矩陣列為單位執行對所述權值矩陣與所述指定門值向量的乘運算。

6.根據權利要求5所述的神經網絡加速器，其特征在于，所述指定門值是輸出門值和記憶門值，所述指定門值向量是記憶門值向量。

7.根據權利要求6所述的神經網絡加速器，其特征在于，所述指定門值間存在的依賴關系公式是：

O_t＝δ(W_xo·X_t+W_ho·Y_(t-1)+W_oc·C_t+b_o)

其中，“·”表示矩陣乘法操作，“δ”激活操作，X_t為輸入向量，Y_t-1為上一級輸出向量，C_t為記憶門向量，O_t為輸出門向量，b_o為輸出門對應的偏移量，W_xo、W_ho和W_oc分別為輸入門、輸出門和記憶門對應的權值。

8.根據權利要求1所述的神經網絡加速器，其特征在于，所述多功能運算單元包括加法單元和/或減法單元和/或取反單元。

9.根據權利要求1所述的神經網絡加速器，其特征在于，所述神經網絡加速器還包括控制單元，用于控制所述存儲單元、所述矩陣乘法單元、所述激活單元、所述多功能運算單元以及所述矩陣乘法單元執行針對LSTM或其變異體的運算。

10.一種利用如權利要求1至9任一項所述的神經網絡加速器進行數據處理的方法，包括以下步驟：

接收LSTM或其變異體網絡參數，分析模型中各門值間的依賴關系；

根據所述依賴關系，調用用于運算的相應功能模塊；

利用所述功能模塊執行運算并輸出計算結果。