[發明專利]計算裝置和方法

有效

• 申請號: 201710794713.3
• 申請日: 2016-01-20
• 公開（公告）號: CN107578099B
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

一種計算裝置和方法，所述計算裝置用于接收輸入數據并根據輸入數據產生輸出數據，輸入數據包括一個或多個輸入神經元數據，輸出數據包括一個或多個輸出神經元數據，所述計算裝置包括運算單元，用于接收指令對所述輸入神經元數據和所述映射后的權值數據執行運算，得到輸出神經元數據。本公開的裝置解決了CPU和GPU運算性能不足，前端譯碼開銷大的問題，有效提高了對人工神經網絡運算算法的支持，避免了內存帶寬成為人工神經網絡運算及其訓練算法性能瓶頸的問題。

技術領域

本公開涉及數據處理技術領域，更具體地涉及一種計算裝置和方法。

背景技術

人工神經網絡(Artificial Neural Networks，ANNs)簡稱為神經網絡(NNs)，它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間的相互連接關系，從而達到處理信息的目的。神經網絡用到的算法就是向量乘法，并且廣泛采用符號函數及其各種逼近。

就像大腦里的神經網絡一樣，神經網絡由一些互相連接的節點組成，如圖1所示，每個圓圈表示一個神經元，每個箭頭表示兩個神經元之間的連接又被稱為權值。

神經元的計算公式可以簡單的描述成：其中，x表示所有和輸出神經元相連接的輸入神經元，w表示x和輸出神經元之間對應的權值。f(x)是一個非線性函數，通常稱作激活函數，常用的函數如：等。

神經網絡被廣泛應用于各種應用場景：計算視覺、語音識別和自然語言處理等。在近幾年的時間里，神經網絡的規模一直在增長。在1998年，Lecun用于手寫字符識別的神經網絡的規模小于1M個權值；在2012年，krizhevsky用于參加ImageNet競賽的規模是60M個權值。

神經網絡是一個高計算量和高訪存的應用，權值越多，計算量和訪存量都會增大。為了減小計算量和權值數量，從而降低訪存量，出現了稀疏連接的神經網絡，如圖2所示即為一個稀疏的神經網絡。

隨著神經網絡計算量和訪存量的急劇增大，現有技術中通常采用通用處理器計算稀疏的人工神經網絡。對于通用處理器，輸入神經元、輸出神經元和權值分別存儲在三個數組中，同時還有一個索引數組，索引數組存儲了每個輸出神經元和輸入神經元通過權值連接的連接關系。在計算時，主要的運算是神經元與權值相乘。每一次運算都要通過索引數組找到神經元對應的權值。由于通用處理器計算能力和訪存能力都很弱，滿足不了神經網絡的需求。而多個通用處理器并行執行時，通用處理器之間相互通訊又成為了性能瓶頸。在計算剪枝之后的神經網絡時，每次乘法運算都要去索引數組里重新查找權值對應的位置，增加了額外的計算量和訪存開銷。因此計算神經網絡耗時長，功耗高。通用處理器需要把多層人工神經網絡運算譯碼成一長列運算及訪存指令序列，處理器前端譯碼帶來了較大的功耗開銷。

另一種支持稀疏連接的人工神經網絡運算及其訓練算法的已知方法是使用圖形處理器(GPU)，該方法通過使用通用寄存器堆和通用流處理單元執行通用SIMD指令來支持上述算法。但由于GPU是專門用來執行圖形圖像運算以及科學計算的設備，沒有對稀疏的人工神經網絡運算的專門支持，仍然需要大量的前端譯碼工作才能執行稀疏的人工神經網絡運算，帶來了大量的額外開銷。另外GPU只有較小的片上緩存，多層人工神經網絡的模型數據(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

發明內容

有鑒于此，本公開的目的在于提供一種計算裝置和方法。

為了實現上述目的，作為本公開的一個方面，本公開提供了一種計算裝置，用于接收輸入數據并根據輸入數據產生輸出數據，輸入數據包括一個或多個輸入神經元數據輸出數據包括一個或多個輸出神經元數據，其特征在于，

所述計算裝置包括：

存儲裝置，用于存儲輸入數據、一個或多個權值數據、連接關系數據、和指令；所述連接關系數據表示每個輸入神經元數據和每個輸出神經元數據是否有對應的符合一條件的權值數據；