[發明專利]神經網絡計算裝置、神經網絡計算方法及相關產品

有效

• 申請號: 201910081971.6
• 申請日: 2019-01-28
• 公開（公告）號: CN111488976B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/483
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請提供了一種神經網絡計算裝置、神經網絡計算方法及相關產品，應用于神經網絡芯片，該神經網絡芯片設置于板卡上，該板卡包括：存儲器件，用于存儲數據；接口裝置，用于實現神經網絡芯片與外部設備之間的數據傳輸；控制器件，用于對神經網絡芯片的狀態進行監控，上述裝置包括：運算單元、控制器單元和存儲單元，所述裝置用于執行人工神經網絡訓練計算；所述神經網絡訓練運算包括神經網絡多層訓練運算，本申請提供的技術方案具有成本低、能耗低的優點。

技術領域

本申請總體上涉及人工神經網絡，具體地涉及一種神經網絡計算裝置、神經網絡計算方法及相關產品。

背景技術

神經網絡又稱人工神經網絡，人工神經網絡被廣泛應用于模式識別，圖像處理，函數逼近和優化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業界越來越廣泛的關注。人工神經網絡涉及到多種算法，其中全連接層作為人工神經網絡中的一種重要算法，被廣泛的應用在各種人工神經網絡模型中。

現有的神經網絡運算基于通用處理器進行神經網絡運算，現有的通用處理器，僅僅支持浮點數據的運算，對于神經網絡運算，尤其涉及到比較復雜的運算，因此其運算量大，并且內存要求高，現有的神經網絡運算基于浮點數據來運算對內存要求較高，因此現有的方案能耗高、成本高。

發明內容

本申請的一個方面提供了一種神經網絡計算裝置、神經網絡計算方法及相關產品，該裝置及方法采用定點數據進行運算，相對于浮點數據，定點數據能夠節省內存，減少運算量，因此其具有降低能耗，降低成本的優點。

一方面，提供一種神經網絡計算裝置，所述裝置用于執行浮點數的數據類型的人工神經網絡訓練運算；所述人工神經網絡訓練運算中包括第i層的神經網絡訓練運算，i為正整數；所述計算裝置包括：控制器單元、運算單元和轉換單元，其中，控制器單元與運算單元以及轉換單元連接；所述第i層訓練運算中包括第i層正向運算和第i層反向運算；

所述控制器單元，用于獲取第i層的輸入神經元數據、第i層權值數據、第i層計算指令；

所述控制器單元，還用于解析該第i層計算指令得到多個運算指令，將所述第i層輸入神經元數據、所述第i層權值數據發送給所述轉換單元，將所述多個運算指令發送給所述運算單元；

所述轉換單元，用于將該第i層輸入神經元數據以及第i層權值數據中的全部或部分通過預設轉換參數執行浮點型數據轉化為定點型數據，得到全部定點數據或混合數據，將全部定點數據或混合數據發送給運算單元，所述混合數據包括：部分定點數據以及部分浮點數據；

所述運算單元，用于依據多個運算指令對全部定點數據執行定點運算或對混合數據執行混合運算得到第i層的輸出結果；所述混合運算包括：對部分定點數據執行定點運算以及對部分浮點數據執行浮點運算。

可選的，所述預設轉換參數包括定點數的小數點位置或者縮放因子，在所述通過預設轉換參數執行浮點型數據轉化為定點型數據方面，所述轉化單元具體用于：

基于所述預設轉換參數，采用如下公式將浮點型數據轉化為定點型數據：

當轉換參數僅包括小數點位置，則計算公式為：

浮點型數據＝定點型數據×2＾position；

當所述轉換參數僅包括縮放因子，則計算公式為：

浮點型數據＝定點型數據×scale；

當所述轉換參數包括小數點位置和縮放因子，則計算公式為：

浮點型數據＝(定點型數據×2＾position)/scale；

其中，position表示定點型數據的小數點位置，scale表示縮放因子。