[發明專利]神經網絡訓練裝置及相關產品

有效

• 申請號: 201711498720.5
• 申請日: 2017-12-29
• 公開（公告）號: CN109993301B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本披露提供一種神經網絡訓練裝置及相關產品，所述訓練裝置包括：X個神經網絡芯片，所述X個神經網絡芯片之間連接，所述X的取值范圍為大于或等于2的整數；所述X個神經網絡芯片中的Y個神經網絡芯片用于接收神經網絡訓練數據執行訓練運算得到Y個權值梯度，所述Y≤X；所述X個神經網絡芯片中的Z個神經網絡芯片用于接收所述Y個神經網絡芯片發送的權值梯度，并根據預先策略將所述Y個權值梯度整合成所述訓練的最終權值梯度，所述Z≤X。本披露提供的技術方案具有訓練速度快，耗時短的優點。

技術領域

本披露涉及神經網絡領域，尤其涉及一種神經網絡訓練裝置及相關產品。

背景技術

人工神經網絡(Artificial Neural Network，即ANN)，是20世紀80年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型，由大量的節點(或稱神經元)之間相互聯接構成。

現有的神經網絡的運算基于CPU(Central Processing Unit，中央處理器)或GPU(英文：Graphics Processing Unit，圖形處理器)來實現神經網絡的運算，單個訓練設備訓練速度慢，耗時久。

發明內容

本披露實施例提供了一種神經網絡訓練裝置及相關產品，可提升訓練裝置的訓練速度，提高效率。

第一方面，提供一種神經網絡訓練裝置，所述訓練裝置包括：X個神經網絡芯片，所述X個神經網絡芯片包括：主神經網絡芯片和(X-1)個從神經網絡芯片，所述主神經網絡芯片與(X-1) 個從神經網絡芯片連接；所述X的取值范圍為大于或等于3的整數；

所述主神經網絡芯片，用于接收并分發神經網絡訓練數據；

所述從神經網絡芯片，用于將接收到的訓練數據執行神經網絡訓練得到權值梯度，并將權值梯度發送給所述主神經網絡芯片；

所述主神經網絡芯片，用于接收(X-1)個從神經網絡芯片發送的(X-1)個權值梯度，根據預先策略將所述(X-1)個權值梯度整合成所述訓練的最終權值梯度。

第二方面，提供一種神經網絡運算裝置，所述神經網絡運算裝置包括一個或多個第一方面提供的裝置。

第三方面，提供一種組合處理裝置，所述組合處理裝置包括：第二方面提供的神經網絡運算裝置、通用互聯接口和通用處理裝置；

所述神經網絡運算裝置通過所述通用互聯接口與所述通用處理裝置連接。

第四方面，提供一種芯片，所述芯片集成第一方面的裝置、第二方面的裝置或第三方面的裝置。

第五方面，提供一種電子設備，所述電子設備包括第四方面的芯片。

第六方面，提供一種神經網絡的運算方法，所述方法應用在第一方面訓練裝置內，所述訓練裝置用于執行神經網絡的運算。

可以看出，通過本披露實施例，多個從芯片接收主芯片下發的訓練數據，并行的進行神經網絡訓練得到各自的權值梯度，主芯片整合從設備發送的權值梯度，得到最終的權值梯度，提高了訓練速度和精度，節省了訓練時間。

附圖說明

圖1a是一種神經網絡訓練裝置示意圖。

圖1b是另一種神經網絡訓練裝置示意圖。

圖1c是一種集成電路芯片裝置結構示意圖。

圖1d是另一種集成電路芯片裝置結構示意圖。

圖1e是一種基礎處理電路的結構示意圖。

圖1f是一種主處理電路的結構示意圖。