[發明專利]一種計算裝置及相關產品

有效

• 申請號: 201811181151.6
• 申請日: 2018-10-10
• 公開（公告）號: CN110059797B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種計算裝置，其特征在于，所述計算裝置用于執行卷積神經網絡訓練運算，所述卷積神經網絡包括：α層，所述α層中至少有第i層為卷積層；所述計算裝置包括：運算單元以及控制器單元；所述運算單元包括：一個主處理電路和從處理電路，所述α為大于等于2的整數，所述i為整數且小于等于α；所述計算裝置用于執行第i層卷積正向運算和執行第i層卷積反向運算；

所述執行第i層卷積正向運算具體包括：

所述控制器單元，用于獲取第i層輸入數據、第i層卷積核以及第i層正向計算指令；

所述控制器單元，還用于將該正向計算指令解析得到多個正向運算指令，將所述輸入數據、所述卷積核以及多個運算指令發送給所述主處理電路；

所述主處理電路，用于將所述輸入數據廣播給所述從處理電路，將所述卷積核拆分成多個核數據塊，將多個核數據塊分發給所述從處理電路，將所述多個運算指令發送給所述從處理電路；

所述從處理電路，用于依據運算指令對所述輸入數據以及接收到的核數據塊執行卷積運算得到運算結果，并將運算結果傳輸給所述主處理電路；

所述主處理電路，用于對所述運算結果進行拼接處理得到卷積結果；

所述執行第i層卷積反向運算具體包括：

所述控制器單元，還用于獲取第i層輸出結果梯度、第i層卷積核、第i層輸入數據和反向計算指令；

所述控制器單元，還用于解析所述反向計算指令得到多個反向運算指令，將所述反向運算指令以及所述第i層輸出結果梯度、第i層卷積核、第i層輸入數據發送給所述主處理電路；

所述主處理電路，還用于依據卷積窗口從第i層輸入數據中選取反向運算的第i層反向輸入數據，將所述第i層輸出結果梯度廣播給所述從處理電路，將第i層反向輸入數據拆分成多個反向輸入數據塊，將多個反向輸入數據塊以及多個反向運算指令分發給所述從處理電路；

所述從處理電路，用于依據接收到的反向運算指令將接收到的反向輸入數據塊與所述第i層輸出結果梯度執行向量乘向量運算得到向量運算結果；將所述向量運算結果返回給所述主處理電路；

所述主處理電路，用于依據該向量運算結果確定第i層卷積核梯度，將第i層卷積核梯度與第i層卷積核執行更新運算得到第i層更新后的卷積核。

2.根據權利要求1所述的裝置，其特征在于，所述依據該向量運算結果確定第i層卷積核梯度具體包括：

所述主處理電路，具體用于求解第i層所有的從運算模塊的卷積核梯度對應的平方數當c大于閾值t時，所有梯度進行縮放dw’＝dw/c*t，依據縮放后的卷積核梯度更新卷積核的值；所述w為從運算模塊的卷積核，所述dw為卷積核梯度。

3.根據權利要求1所述的裝置，其特征在于，所述計算裝置還包括：存儲單元和直接內存訪問單元，所述存儲單元包括：寄存器、緩存中任意組合；

所述緩存，用于存儲所述輸入數據和卷積核；

所述寄存器，用于存儲所述輸入數據中標量數據；

所述緩存包括高速暫存緩存；

所述控制器單元包括：指令存儲單元、指令處理單元和存儲隊列單元；

所述指令存儲單元，用于存儲所述卷積神經網絡訓練運算關聯的計算指令；

所述指令處理單元，用于對所述計算指令解析得到多個運算指令；

所述存儲隊列單元，用于存儲指令隊列，該指令隊列包括：按該隊列的前后順序待執行的多個運算指令或計算指令；

所述主處理電路包括：依賴關系處理單元；

所述依賴關系處理單元，用于確定第一運算指令與所述第一運算指令之前的第零運算指令是否存在關聯關系，如所述第一運算指令與所述第零運算指令存在關聯關系，將所述第一運算指令緩存在所述指令存儲單元內，在所述第零運算指令執行完畢后，從所述指令存儲單元提取所述第一運算指令傳輸至所述運算單元；

所述確定該第一運算指令與第一運算指令之前的第零運算指令是否存在關聯關系包括：

依據所述第一運算指令提取所述第一運算指令中所需數據的第一存儲地址區間，依據所述第零運算指令提取所述第零運算指令中所需數據的第零存儲地址區間，如所述第一存儲地址區間與所述第零存儲地址區間具有重疊的區域，確定所述第一運算指令與所述第零運算指令具有關聯關系，如所述第一存儲地址區間與所述第零存儲地址區間不具有重疊的區域，確定所述第一運算指令與所述第零運算指令不具有關聯關系。