[發明專利]神經網絡訓練裝置及相關產品

有效

• 申請號: 201711498720.5
• 申請日: 2017-12-29
• 公開（公告）號: CN109993301B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/063
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種神經網絡訓練裝置，其特征在于，所述訓練裝置包括：X個神經網絡芯片，所述X個神經網絡芯片之間連接，所述X的取值范圍為大于或等于2的整數；所述X個神經網絡芯片中的Y個神經網絡芯片用于接收神經網絡訓練數據執行訓練運算得到Y個權值梯度，所述Y≤X；所述X個神經網絡芯片中的Z個神經網絡芯片用于接收所述Y個神經網絡芯片發送的權值梯度，并根據預先策略將所述Y個權值梯度整合成所述訓練的最終權值梯度，所述Z≤X；

若所述X個神經網絡芯片以星型拓撲結構相連，且Y＝X-1，Z＝1，其中，所述Y個神經網絡芯片為(X-1)個從神經網絡芯片，所述(X-1)個從神經網絡芯片用于接收神經網絡訓練數據執行訓練運算得到(X-1)個權值梯度；所述Z個神經網絡芯片為主神經網絡芯片，所述主神經網絡芯片用于接收所述(X-1)個神經網絡芯片發送的權值梯度，并根據預先策略將所述(X-1)個權值梯度整合成所述訓練的最終權值梯度；

其中，所述主神經網絡芯片用于根據預先策略將所述(X-1)個權值梯度整合成所述訓練的最終權值梯度，具體包括：

所述主神經網絡芯片用于將所述(X-1)個權值梯度中對應位置的非零值整合至所述訓練的最終權值梯度；

或，將所述(X-1)個權值梯度中對應位置的零值整合至所述訓練的最終權值梯度；

或，將所述(X-1)個權值梯度中預先設定的多個指定位置的非零值整合至所述訓練的最終權值梯度；

若所述X個神經網絡芯片以環型拓撲結構相連，且Y＝Z＝X，其中，所述X個神經網絡芯片用于接收神經網絡訓練數據執行訓練運算得到X個權值梯度，并將各自的權值梯度按照預設規則發送至相鄰的神經網絡芯片；所述X個神經網絡芯片用于根據預先策略將所述X個權值梯度整合成所述訓練的最終權值梯度；

其中，所述X個神經網絡芯片用于根據預先策略將所述X個權值梯度整合成所述訓練的最終權值梯度，具體包括：

所述X個神經網絡芯片用于將所述X個權值梯度中對應位置的非零值整合至所述訓練的最終權值梯度；

或，將所述X個權值梯度中對應位置的零值整合至所述訓練的最終權值梯度；

或，將所述X個權值梯度中預先設定的多個指定位置的非零值整合至所述訓練的最終權值梯度。

2.根據權利要求1所述的裝置，其特征在于，

所述神經網絡芯片包括主處理電路以及多個基礎處理電路；所述主處理電路或多個基礎處理電路中至少一個電路包括：數據類型運算電路；所述數據類型運算電路，用于執行第一類型數據與第二類型數據之間的轉換；

其中，所述多個基礎處理電路呈陣列分布；每個基礎處理電路與相鄰的其他基礎處理電路連接，所述主處理電路連接第1行的n個基礎處理電路、第m行的n個基礎處理電路以及第1列的m個基礎處理電路；

所述主處理電路，用于執行神經網絡運算中的各個連續的運算以及和與其相連的所述基礎處理電路傳輸數據；

所述多個基礎處理電路，用于依據傳輸的數據以并行方式執行神經網絡中的運算，并將運算結果通過與所述主處理電路連接的基礎處理電路傳輸給所述主處理電路。

3.根據權利要求2所述的裝置，其特征在于，

所述數據類型轉換電路，具體用于將連續數據轉化為離散數據，并將該離散數據進行K比特量化，所述K為大于1的整數；

其中，所述數據類型轉換電路包括預處理電路、隨機數生成電路和判斷電路，所述預處理電路用于對連續數據進行預處理得到預處理數據；所述隨機數生成電路用于生成(0,1)之間的隨機數；所述判斷電路用于比較該預處理數據和隨機數得到離散數據，并將所述離散數據量化為K比特數據。

4.根據權利要求2所述的裝置，其特征在于，

所述主處理電路，用于獲取待計算的數據塊以及運算指令，依據該運算指令對所述第二類型的待計算的數據塊劃分成分發數據塊以及廣播數據塊；對所述分發數據塊進行拆分處理得到多個基本數據塊，將所述多個基本數據塊分發至與其連接的基礎處理電路，將所述廣播數據塊廣播至與其連接的基礎處理電路；

所述基礎處理電路，用于對所述基本數據塊與所述廣播數據塊以第二數據類型執行內積運算得到結果，將所述運算結果發送至所述主處理電路；

或將所述基本數據塊與所述廣播數據塊轉發給其他基礎處理電路以第二數據類型執行內積運算得到運算結果，將所述運算結果發送至所述主處理電路。