[發明專利]神經網絡運算設備和方法

有效

• 申請號: 201711343478.4
• 申請日: 2017-12-11
• 公開（公告）號: CN109902811B
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明公開了一種神經網絡處理模塊，其映射單元接收到輸入神經元和權值后，對該輸入神經元和權值進行處理，以得到處理后的輸入神經元和處理后的權值；神經網絡處理模塊的運算單元對處理后的輸入神經元和處理后的權值進行人工神經網絡運算。采用本發明實施例可減少裝置的額外開銷，并減小訪問量，提高了神經網絡運算效率。

技術領域

本發明涉及神經網絡領域，尤其涉及一種神經網絡運算設備和方法。

背景技術

人工神經網絡(Artificial Neural Networks,ANNs)簡稱為神經網絡(NeuralNetworks,NNs)。它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間的相互連接關系，從而達到處理信息的目的。

神經網絡是一個高計算量和高訪存的算法，權值越多，計算量和訪存量。都會增大。為了減小計算量和權值數量，從而降低訪存量，因此提出了稀疏神經網絡。稀疏神經網絡的定義為：在神經網絡中，值為0的權值的數目很多，并且值為非0的權值分布沒有規律，則稱該神經網絡為稀疏神經網絡。定義權值為0的元素數量與神經網絡所有權值元素數量的比值為神經網絡的稀疏度，如圖1a所示。

現有技術中，GPU在執行圖形圖像運算以及科學計算時會涉及稀疏神經網絡的計算，但是由于GPU是專門用來執行圖形圖像運算以及科學計算的設備，沒有對稀疏的卷積神經網絡運算的專門支持，仍然需要大量的前端譯碼工作才能執行稀疏的人工神經網絡運算，帶來了大量的額外開銷。另外GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

發明內容

本發明實施例提供一種神經網絡運算設備及方法，通過對神經網絡數據進行處理，減小了在進行人工神經網絡運算之前譯碼的工作量，進而減小了額外的開銷，并且提高了運算速率。

第一方面，本發明實施例提供了一種神經網絡運算模塊，包括：

存儲單元，用于存儲輸入數據、神經網絡指令和運算結果，所述輸入數據包括至少一個輸入神經元和至少一個權值；

直接存儲訪問單元，用于在所述存儲單元與指令緩存單元、映射單元和輸出緩存單元進行數據的讀寫；

映射單元，用于通過所述直接存儲訪問單元獲取所述輸入數據后，對所述輸入數據進行處理，以得到處理后的輸入數據，所述處理后的輸入數據包括處理后的輸入神經元和處理后的權值，并將所述處理后的輸入神經元和所述處理后的權值存儲到第一輸入緩存單元和第二輸入緩存單元中；

所述第一輸入緩存單元，用于緩存第一緩存數據，所述第一緩存數據為所述處理后的輸入神經元或處理后的權值；

所述第二輸入緩存單元，用于緩存第二緩存數據，所述第二緩存數據為所述處理后的輸入神經元或處理后的權值，且所述第二緩存數據與所述第一緩存數據不一致；

所述指令緩存單元，用于緩存所述直接存儲訪問單元讀取神經網絡指令；

指令控制單元，用于從所述指令緩存單元中獲取所述神經網絡指令，并將所述神經網絡指令譯碼成運算單元執行的微指令；

所述運算單元，用于從所述第一輸入緩存單元和所述第二輸入緩存單元中獲取所述處理后的輸入神經元和所述處理后的權值后，根據所述微指令對所述處理后的輸入神經元和所述處理后的權值進行人工神經網絡運算，以得到所述運算結果；

所述輸出緩存單元，用于緩存所述運算結果。

第二方面，本發明實施例提供了一種神經網絡運算方法，包括：

對輸入數據進行處理，以得到處理后的輸入數據；

獲取神經運算指令，將所述神經運算指令譯碼成微指令；