[發明專利]一種用于執行神經網絡運算以及矩陣/向量運算的裝置和方法

在審

• 申請號: 201610281291.5
• 申請日: 2016-04-29
• 公開（公告）號: CN107329936A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 陶勁樺;陳天石;陳云霽
• 申請（專利權）人: 北京中科寒武紀科技有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06N3/063;G06F9/30
• 代理公司: 中科專利商標代理有限責任公司11021
• 代理人: 任巖

1.一種用于執行神經網絡運算以及矩陣/向量運算的裝置，包括存儲單元、寄存器單元、控制單元、運算單元和高速暫存存儲器，其中：

存儲單元，用于存儲神經元/矩陣/向量；

寄存器單元，用于存儲神經元地址/矩陣地址/向量地址，其中所述神經元地址為神經元在所述存儲單元中存儲的地址，所述矩陣地址為矩陣在所述存儲單元中存儲的地址，所述向量地址為向量在所述存儲單元中存儲的地址；

控制單元，用于執行譯碼操作，根據讀取指令控制各個單元模塊；

運算單元，用于根據指令從所述寄存器單元中獲取神經元地址/矩陣地址/向量地址，根據所述神經元地址/矩陣地址/向量地址在所述存儲單元中獲取相應的神經元/矩陣/向量，以及根據由此獲取的神經元/矩陣/向量和/或指令中攜帶的數據進行運算，得到運算結果；

其特征在于，將參與所述運算單元計算的神經元/矩陣/向量數據暫存在高速暫存存儲器上，當需要時所述運算單元從所述高速暫存存儲器上讀取。

2.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述高速暫存存儲器能夠支持不同大小的神經元/矩陣/向量數據。

3.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述寄存器單元為標量寄存器堆，提供運算過程中所需的標量寄存器。

4.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述運算單元包括向量乘法部件、累加部件和標量乘法部件；以及

所述運算單元負責裝置的神經網絡/矩陣/向量運算，包括卷積神經網絡正向運算操作、卷積神經網絡訓練操作、神經網絡Pooling運算操作、full connection神經網絡正向運算操作、full connection神經網絡訓練操作、batch normalization運算操作、RBM神經網絡運算操作、矩陣-向量乘運算 操作、矩陣-矩陣加/減運算操作、向量外積運算操作、向量內積運算操作、向量四則運算操作、向量邏輯運算操作、向量超越函數運算操作、向量比較運算操作、求向量最大/最小值運算操作、向量循環移位運算操作、生成服從一定分布的隨機向量運算操作。

5.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述裝置還包括指令緩存單元，用于存儲待執行的運算指令；所述指令緩存單元優選為重排序緩存；以及

所述裝置還包括指令隊列，用于順序緩存譯碼后的指令，送往依賴關系處理單元。

6.如權利要求5所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述裝置還包括依賴關系處理單元和存儲隊列，所述依賴關系處理單元用于在運算單元獲取指令前，判斷所述運算指令與前一運算指令是否防問相同的神經元/矩陣/向量存儲地址，若是，將所述運算指令存儲在所述存儲隊列中；否則，直接將該運算指令提供給所述運算單元，待前一運算指令執行完畢后，將存儲隊列中的所述運算指令提供給所述運算單元；所述存儲隊列用于存儲與之前指令在數據上有依賴關系的指令，并在依賴關系消除之后，提交所述指令。

7.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述裝置的指令集采用Load/Store結構，所述運算單元不對內存中的數據進行操作；以及

所述裝置的指令集優選采用超長指令字架構，同時優選采用定長指令。

8.如權利要求1所述的用于執行神經網絡運算以及矩陣/向量運算的裝置，其特征在于，所述運算單元執行的運算指令包括至少一操作碼和至少3個操作數；其中，所述操作碼用于指示該運算指令的功能，運算單元通過識別一個或多個操作碼進行不同的運算；所述操作數用于指示所述運算指令的數據信息，其中，所述數據信息為立即數或寄存器號。

作為優選，當所述運算指令為神經網絡運算指令時，所述神經網絡運算指令包括至少一操作碼和16個操作數；

作為優選，當所述運算指令為矩陣-矩陣運算指令時，所述矩陣-矩陣運算指令包括至少一操作碼和至少4個操作數；

作為優選，當所述運算指令為向量運算指令時，所述向量運算指令包括至少一操作碼和至少3個操作數；

作為優選，當所述運算指令為矩陣-向量運算指令時，所述矩陣-向量運算指令包括至少一操作碼和至少6個操作數。