[發明專利]訓練裝置及方法

有效

• 申請號: 201811074120.0
• 申請日: 2018-09-14
• 公開（公告）號: CN110909870B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種訓練裝置及方法，該裝置包括：參數壓縮單元根據接收到的神經網絡的模型數據，確定神經網絡的待壓縮參數，并對待壓縮參數進行壓縮處理，獲得與神經網絡對應的語義向量；參數存儲單元儲與神經網絡對應的語義向量，并在接收到數據讀取指令時，向參數解壓縮單元或運算單元發送語義向量；參數解壓縮單元在接收到語義向量時，對語義向量進行解壓縮處理，獲得神經網絡的解壓縮參數，并向運算單元發送解壓縮參數；運算單元對接收到的語義向量或解壓縮參數對神經網絡進行訓練。本公開可以對待壓縮參數進行壓縮，從而有效減少神經網絡的模型大小、降低了對內存的需求，從而有效提高了神經網絡的數據處理速度。

技術領域

本公開涉及計算機技術領域，尤其涉及一種訓練裝置及方法。

背景技術

人工神經網絡(Artificial Neural Network，即ANN)，是20世紀80年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型，由大量的節點(或稱神經元)之間相互聯接構成。現有的神經網絡的運算通常基于CPU(Central Processing Unit，中央處理器)或GPU(英文：Graphics Processing Unit，圖形處理器)來實現神經網絡的正向運算以及正向或反向訓練運算，這些運算的計算量大，功耗高。

發明內容

有鑒于此，本公開提出了一種訓練裝置及方法以實現神經網絡的訓練，并實現訓練中參數的實時壓縮及解壓縮。

根據本公開的一方面，提出了一種支持壓縮及解壓縮的神經網絡訓練裝置，所述裝置用于執行神經網絡的訓練，所述裝置包括：

參數壓縮單元，用于根據接收到的神經網絡的模型數據，確定所述神經網絡的待壓縮參數，并利用編碼器對所述待壓縮參數進行壓縮處理，獲得與所述神經網絡對應的語義向量；

參數存儲單元，連接到所述參數壓縮單元，用于存儲與所述神經網絡對應的語義向量，并在接收到數據讀取指令時，向所述參數解壓縮單元或運算單元發送所述語義向量；

參數解壓縮單元，連接到所述參數存儲單元，用于在接收到語義向量時，利用解碼器對所述語義向量進行解壓縮處理，獲得所述神經網絡的解壓縮參數，并向所述運算單元發送所述解壓縮參數；及

運算單元，分別連接到所述參數存儲單元和所述參數解壓縮單元，用于對接收到的所述語義向量或所述解壓縮參數對所述神經網絡進行訓練。

根據本公開的另一方面，提出了一種神經網絡芯片，所述機器學習芯片包括機器學習運算裝置或如組合處理裝置，其中，所述機器學習運算裝置包括一個或多個所述的支持壓縮及解壓縮的神經網絡訓練裝置，用于從其他處理裝置中獲取待運算輸入數據和控制信息，并執行指定的機器學習運算，將執行結果通過I/O接口傳遞給其他處理裝置；當所述機器學習運算裝置包含多個所述訓練裝置時，所述多個所述訓練裝置間可以通過特定的結構進行連接并傳輸數據；其中，多個所述訓練裝置通過快速外部設備互連總線PCIE總線進行互聯并傳輸數據，以支持更大規模的機器學習的運算；多個所述訓練裝置共享同一控制系統或擁有各自的控制系統；多個所述訓練裝置共享內存或者擁有各自的內存；多個所述訓練裝置的互聯方式是任意互聯拓撲；

所述組合處理裝置包括所述的機器學習運算裝置，通用互聯接口和其他處理裝置；

所述機器學習運算裝置與所述其他處理裝置進行交互，共同完成用戶指定的計算操作；

所述組合處理裝置還包括：存儲裝置，該存儲裝置分別與所述機器學習運算裝置和所述其他處理裝置連接，用于保存所述機器學習運算裝置和所述其他處理裝置的數據。

根據本公開的另一方面，提出了一種電子設備，所述電子設備包括所述的神經網絡芯片。