[發明專利]用于細胞陣列計算系統的神經元計算器操作方法

在審

• 申請號: 201611238870.8
• 申請日: 2016-12-28
• 公開（公告）號: CN108255514A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 戴瑾
• 申請（專利權）人: 上海磁宇信息科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/06
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

本發明公開了一種用于細胞陣列計算系統的神經元計算器操作方法。細胞陣列計算系統包括主控制器、總線、由多個計算單元組成細胞陣列；每個計算單元包括：用于執行神經元的計算操作的神經元計算器及內存單元，每一個計算單元中儲存有其在細胞陣列中的位置作為識別碼。使每一條神經元計算器的輸入信息包括上游神經元的識別碼以及輸出數據；利用每一個神經元計算器中包含的一段內容尋址存儲器存儲所有的上游神經元的識別碼；針對每一條輸入，將輸入的神經元計算器的識別碼與上述存儲器中的內容進行比對；根據比對結果中符合的識別碼找到與所述輸入相應的權重，將每個權重與輸入相乘以得到乘積，并對所有乘積進行累加以得到累加信號。

技術領域

本發明涉及半導體芯片領域以及人工智能領域，尤其涉及一種用于細胞陣列計算系統的神經元計算器操作方法。

背景技術

人腦是一個由大量神經元復雜連接的網絡。每個神經元通過大量的樹突連接大量的其他神經元，接收信息，每一個連接點叫突觸(Synapse)。在外部刺激積累到一定程度后，產生一個刺激信號，通過軸突傳送出去。軸突有大量的末梢，通過突觸，連接到大量其他神經元的樹突。就是這樣一個由簡單功能的神經元組成的網絡，實現了人類所有的智能活動。人的記憶和智能，普遍被認為存儲在每一個突觸的不同的耦合強度里。

神經元的反應頻率不超過100Hz，現代計算機的CPU比人腦快1000萬倍，但處理很多復雜問題的能力不如人腦。這促使了計算機行業開始模仿人腦。最早的對人腦的模仿，是在軟件層面的。

神經網絡(Neural Networks)是計算機學習中常用的算法。神經網絡算法中的神經元就是一個函數，它有很多個輸入，每一個輸入都對應著一個權重。一般的算法是每一個輸入乘以權重在相加。它輸出0或1(由一個閾值決定)，或者一個介于0和1之間的值。一個典型的神經網絡，是把大量細胞陣列(Neuron)的輸出輸入連接在一起的網絡，通常組織成多級架構。它內部有很多個參數(權重、閾值)，學習訓練的過程就是調整這些參數。這是一個需要海量計算的函數優化。這類算法，已經取得了豐富的成果，得到廣泛應用。

神經網絡算法中的網絡都是分成很多層的。最早的網絡，上一層的每一個神經元和下一層的每一個神經元連接，成為全連通的網絡。全連通網絡的一個問題，在于圖像處理這類應用中，圖像的像素很多，每一層需要的權重數量正比于像素平方，由此該方案占用內存太大，計算量更是無法應付。

在卷積神經網絡中，前面的很多層不再是全連通的。每一層的神經元作為一個圖像被排成陣列。下一層的每一個神經元只和這一層的一個小區域連通。小區域常常是一個邊長為k的方形區域，k稱為卷積網絡的內核尺寸(Kernel Size)，如圖1所示。

卷積神經網絡(Convolutional Neural Network,CNN)因為對這個小區域的各個點加權重的求和類似卷積而得名。這一組權重在各個同一層細胞中的各個點都是一樣的(既平移不變性)，從而跟全連通網絡相比大幅度減少權重數量，使得高分辨率的圖像處理成為可能。一個卷積神經網絡包括多個這樣連通的層，以及其他種類的層。

隨著深度學習應用的普及，人們開始開發專用的神經網絡芯片。用專用電路實現神經元計算的加法和乘法，比用CPU或者GPU高效得多。

磁阻式隨機訪問存儲器(Magnetic Random Access Memory，MRAM)是一種新的內存和存儲技術，可以像SRAM/DRAM一樣快速隨機讀寫，并且比DRAM快；還可以像閃存一樣在斷電后永久保留數據，并且不像NAND它可以不限次地擦寫。

MRAM的經濟性想當地好，單位容量占用的硅片面積比SRAM(通常作為CPU的緩存)有很大的優勢，有望接近DRAM的水平。它的性能也相當好，讀寫時延接近最好的SRAM，功耗則在各種內存和存儲技術最好。而且MRAM不像DRAM以及閃存那樣與標準CMOS半導體工藝不兼容。MRAM可以和邏輯電路集成到一個芯片中。有了MRAM技術，就可以把內存、存儲、計算三個功能集成到一個芯片上來。新的計算架構就有可能。