[發明專利]集成電路芯片裝置及相關產品

有效

• 申請號: 201711469408.3
• 申請日: 2017-12-28
• 公開（公告）號: CN109978156B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種集成電路芯片裝置，所述裝置用于執行的神經網絡的訓練，該神經網絡包含n層，所述n取值范圍為大于等于2的整數，其特征在于，所述集成電路芯片裝置包括：主處理電路以及多個基礎處理電路；所述主處理電路包括：數據類型運算電路；所述數據類型運算電路，用于執行浮點類型數據與定點類型數據之間的轉換；

所述多個基礎處理電路呈陣列分布；每個基礎處理電路與相鄰的其他基礎處理電路連接，所述主處理電路連接第1行的n個基礎處理電路、第m行的n個基礎處理電路以及第1列的m個基礎處理電路；

所述集成電路芯片裝置，用于接收訓練指令，依據該訓練指令確定第一層輸入數據和第一層權值組數據，對第一層輸入數據和第一層權值組數據執行神經網絡的n層正向運算得到正向運算的第n輸出結果；

所述主處理電路，還用于依據所述第n輸出結果得到第n輸出結果梯度，依據所述訓練指令獲取第n層反向運算的第n反向運算，依據第n輸出結果梯度、第n層輸入數據、第n層權值組數據以及第n反向運算得到第n反向運算復雜度，依據所述第n反向運算復雜度確定第n輸出結果梯度、第n層輸入數據、第n層權值組數據對應的第n反向數據類型；

所述主處理電路，用于依據第n反向運算的類型將第n輸出結果梯度、第n層輸入數據、第n層權值組數據劃分成廣播數據塊以及分發數據塊，對第n反向數據類型的所述分發數據塊進行拆分處理得到多個基本數據塊，將所述多個基本數據塊分發至與所述主處理電路連接的基礎處理電路中的至少一個分支處理電路，將第n反向數據類型的所述廣播數據塊廣播至與所述主處理電路連接的基礎處理電路；

所述基礎處理電路，用于依據第n反向數據類型的廣播數據塊和第n反向數據類型的基本數據塊以并行方式執行神經網絡中的運算得到運算結果，并將該運算結果通過與所述主處理電路連接的基礎處理電路傳輸給所述主處理電路；

所述主處理電路，用于對該運算結果進行處理得到第n層權值組梯度和第n層輸入數據梯度，應用所述第n層權值組梯度對第n層權值組數據進行更新；所述第n反向數據類型包括：定點類型或浮點類型；

所述集成電路芯片裝置，還用于將第n層輸入數據梯度作為第n-1層的第n-1輸出結果梯度執行n-1層方向運算得到n-1層權值組梯度，應用n-1層權值組梯度更新對應層的權值組數據，所述權值組數據包括：至少二個權值；

所述主處理電路，具體用于如所述第n反向運算的類型為乘法運算，確定所述第n層輸入數據以及所述第n層權值組數據均為分發數據塊，所述第n輸出結果梯度為廣播數據塊；如第n反向運算的類型為卷積運算，確定所述第n層輸入數據以及所述第n層權值組數據均為廣播數據塊，所述第n輸出結果梯度為分發數據塊。

2.根據權利要求1所述的集成電路芯片裝置，其特征在于，

所述主處理電路，具體用于將第n反向運算復雜度與預設閾值比較，如所述第n反向運算復雜度高于所述預設閾值，確定所述第n反向數據類型為定點類型，如所述第n反向運算復雜度低于或等于所述預設閾值，計算裝置確定所述第n反向數據類型為浮點類型。

3.根據權利要求2所述的集成電路芯片裝置，其特征在于，

所述主處理電路，具體用于確定所述第n輸出結果梯度、第n層輸入數據、第n層權值組數據屬于的第n+1反向數據類型，如所述第n+1反向數據類型與所述第n反向數據類型不同，通過所述數據類型運算電路將屬于第n+1反向數據類型的所述第n輸出結果梯度、第n層輸入數據、第n層權值組數據轉換成屬于第n反向數據類型的所述第n輸出結果梯度、第n層輸入數據、第n層權值組數據。

4.根據權利要求1所述的集成電路芯片裝置，其特征在于，

所述主處理電路，用于如n層反向運算為卷積運算，卷積輸入數據為所述第n層輸入數據，卷積核為所述第n輸出結果梯度，

第n反向運算復雜度＝α*C*kH*kW*M*N*W*C1*H；

其中，α為卷積系數，取值范圍為大于1；C、kH、kW、M為卷積核四個維度的值，N、W、C1、H為卷積輸入數據四個維度的值；

如所述第n反向運算復雜度大于設定閾值，確定該第n反向數據類型為浮點數據類型，確定該卷積輸入數據以及卷積核是否為浮點數據，如該卷積輸入數據以及卷積核不為浮點數據，將該卷積輸入數據轉換成浮點數據，將卷積核轉換成浮點數據，然后將卷積輸入數據、卷積核以浮點數據類型執行卷積運算。