[發明專利]一種用于執行神經網絡運算的裝置及方法

有效

• 申請號: 201911062123.7
• 申請日: 2018-09-13
• 公開（公告）號: CN110610236B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 陳天石;劉少禮;王在;胡帥
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06F9/38;G10L15/26
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種用于執行神經網絡運算的裝置，其特征在于，包括片上互聯單元和與該片上互聯單元通信連接的多個神經網絡處理模塊，其中：

所述神經網絡處理模塊能夠通過所述片上互聯單元從其它神經網絡處理模塊中讀寫數據；

所述神經網絡處理模塊，用于執行神經網絡運算，所述神經網絡處理模塊包括：寄存器單元、互聯模塊、運算單元、控制單元、數據訪問單元；其中，

寄存器單元，用于存儲運算指令、數據塊在存儲介質的地址、運算指令對應的計算拓撲結構，該計算拓撲結構為至少二種計算器組成的計算拓撲結構；

控制單元，用于從寄存器單元內提取運算指令，該運算指令對應的操作域以及該運算指令對應的計算拓撲結構，將該運算指令譯碼成執行指令，該執行指令用于控制運算單元執行運算操作，將該操作域傳輸至數據訪問單元；

數據訪問單元，用于提取該操作域對應的數據塊，并將該數據塊傳輸至互聯模塊；

互聯模塊，用于接收數據塊，將該數據塊發送至運算單元；

運算單元，用于該執行指令調用運算單元的計算器對該數據塊執行運算操作得到運算結果；

所述運算單元包括：一個主運算單元和多個從運算單元，所述互聯模塊連接所述主運算單元和多個從運算單元；所述互聯模塊為：樹狀結構、環狀結構、網格狀結構、分級互連或總線結構；

所述裝置還包括：外部存儲模塊；所述外部存儲模塊與所述片上互聯單元通信連接，所述神經網絡處理模塊通過所述片上互聯單元從所述外部存儲模塊中讀寫數據。

2.根據權利要求1所述的用于執行神經網絡運算的裝置，其特征在于，

所述外部存儲模塊為高速存儲單元。

3.根據權利要求1所述的用于執行神經網絡運算的裝置，其特征在于，

所述運算指令為卷積計算指令，所述卷積計算指令包括：卷積神經網絡sigmoid指令，根據該指令，裝置分別從存儲器的指定地址取出指定大小的輸入數據和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做sigmoid激活；

卷積神經網絡TanH指令，根據該指令，裝置分別從存儲器的指定地址取出指定大小的輸入數據和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做TanH激活；

卷積神經網絡ReLU指令，根據該指令，裝置分別從存儲器的指定地址取出指定大小的輸入數據和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做ReLU激活；以及

卷積神經網絡group指令，根據該指令，裝置分別從存儲器的指定地址取出指定大小的輸入數據和卷積核，劃分group之后，在卷積運算部件中做卷積操作，然后將輸出結果做激活。

4.根據權利要求3所述的用于執行神經網絡運算的裝置，其特征在于，所述運算指令還包括：

IO指令實現從外部存儲空間讀入計算需要的輸入數據以及在計算完成后將數據存回至外部空間；

NOP指令負責清空當前裝置內部所有控制信號緩存隊列中的控制信號，保證NOP指令之前的所有指令全部指令完畢；

JUMP指令負責控制將要從指令存儲單元讀取的下一條指令地址的跳轉，用來實現控制流的跳轉；

MOVE指令負責將裝置內部地址空間某一地址的數據搬運至裝置內部地址空間的另一地址，該過程獨立于運算單元，在執行過程中不占用運算單元的資源。

5.根據權利要求1所述的用于執行神經網絡運算的裝置，其特征在于，

所述控制單元，用于從寄存器單元內提取卷積計算指令、卷積計算指令對應的操作域，控制單元將該操作域傳輸至數據訪問單元；

數據訪問單元，用于從存儲器內提取該操作域對應的卷積核w和偏置b，將卷積核w和偏置b傳輸至運算單元；

運算單元，用于通過乘法計算器將卷積核w與輸入數據Xi執行乘法運算以后得到第一結果，將第一結果輸入到加法運算器執行加法運算得到第二結果，將第二結果和偏置b執行加法運算得到第三結果，將第三結果輸到激活運算器執行激活運算得到輸出結果S，將輸出結果S傳輸至數據訪問單元存儲至存儲器內。