[發明專利]運算方法、裝置及相關產品

有效

• 申請號: 201811459244.0
• 申請日: 2018-11-30
• 公開（公告）號: CN111260046B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種運算方法、裝置及相關產品。機器學習裝置包括一個或多個指令處理裝置，從其他處理裝置中獲取待運算數據和控制信息，并執行指定的機器學習運算，將執行結果通過I/O接口傳遞給其他處理裝置；當機器學習運算裝置包含多個指令處理裝置時，多個指令處理裝置間可以通過特定的結構進行連接并傳輸數據。多個指令處理裝置通過快速外部設備互連總線PCIE總線進行互聯并傳輸數據；多個指令處理裝置共享同一控制系統或擁有各自的控制系統、且共享內存或者擁有各自的內存；多個指令處理裝置的互聯方式是任意互聯拓撲。本公開實施例所提供的運算方法、裝置及相關產品實現了對輸入數據的復用，保證了計算精度，降低了數據訪存量和計算量。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據處理裝置、方法及相關產品。

背景技術

隨著科技的不斷發展，機器學習，尤其是神經網絡算法的使用越來越廣泛。其在圖像識別、語音識別、自然語言處理等領域中都得到了良好的應用。但由于神經網絡算法的復雜度越來越高，所涉及的數據運算種類和數量不斷增大，對如運算器的數量等硬件的要求也不斷提高。相關技術中，通過減少或降低數據訪存量、計算量的方式降低硬件需求，但會對計算的精度造成損失。如何在保證精度的前提下，降低數據訪存量、計算量是亟待解決的問題。

發明內容

有鑒于此，本公開提供了一種數據處理裝置、方法及相關產品，以解決保證計算精度與降低數據訪存量、計算量無法同時滿足的問題。

根據本公開的第一方面，提供了一種數據處理裝置，所述裝置用于執行機器學習計算，所述裝置包括控制模塊和處理模塊，所述處理模塊包括數據廣播子模塊、多個數據傳輸通道和多個數據運算子模塊，每個數據傳輸通道與對應的一個數據運算子模塊連接，

所述控制模塊用于獲取計算指令，并獲取執行所述計算指令所需的多個輸入數據；

所述數據廣播子模塊用于將所述多個輸入數據依次廣播到所述多個數據傳輸通道；

每個數據傳輸通道用于對接收到的多個輸入數據進行處理，得到多個中間結果，并將所述多個中間結果依次發送到連接的數據運算子模塊；

每個數據運算子模塊用于對接收到的多個中間結果進行累加運算，得到所述計算指令的計算結果。

根據本公開的第二方面，提供了一種機器學習運算裝置，所述裝置包括：

一個或多個上述第一方面所述的數據處理裝置，用于從其他處理裝置中獲取輸入數據和控制信息，并執行指定的機器學習運算，將執行結果通過I/O接口傳遞給其他處理裝置；

當所述機器學習運算裝置包含多個所述數據處理裝置時，所述多個所述數據處理裝置間可以通過特定的結構進行連接并傳輸數據；

其中，多個所述數據處理裝置通過快速外部設備互連總線PCIE總線進行互聯并傳輸數據，以支持更大規模的機器學習的運算；多個所述數據處理裝置共享同一控制系統或擁有各自的控制系統；多個所述數據處理裝置共享內存或者擁有各自的內存；多個所述數據處理裝置的互聯方式是任意互聯拓撲。

根據本公開的第三方面，提供了一種組合處理裝置，所述裝置包括：

上述第二方面所述的機器學習運算裝置、通用互聯接口和其他處理裝置；

所述機器學習運算裝置與所述其他處理裝置進行交互，共同完成用戶指定的計算操作。

根據本公開的第四方面，提供了一種機器學習芯片，所述機器學習芯片包括上述第二方面所述的機器學習絡運算裝置或上述第三方面所述的組合處理裝置。

根據本公開的第五方面，提供了一種機器學習芯片封裝結構，該機器學習芯片封裝結構包括上述第四方面所述的機器學習芯片。

根據本公開的第六方面，提供了一種板卡，該板卡包括上述第五方面所述的機器學習芯片封裝結構。