[發(fā)明專利]進(jìn)行矩陣向量乘法運(yùn)算的系統(tǒng)及進(jìn)行神經(jīng)網(wǎng)絡(luò)運(yùn)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810984160.2
• 申請(qǐng)日: 2018-08-27
• 公開（公告）號(hào): CN109359269A
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計(jì)）人: 康晉鋒;項(xiàng)亞臣;黃鵬;韓潤(rùn)澤;劉曉彥
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06F17/16
• 分類號(hào): G06F17/16;G06N3/063
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張宇園

1.一種基于NOR FLASH計(jì)算陣列進(jìn)行矩陣向量乘法運(yùn)算的系統(tǒng)，其特征在于，包括：

NOR FLASH計(jì)算陣列，陣列中每列單元的柵極接在一起，各列用于依次輸入與被乘數(shù)向量的元素相對(duì)應(yīng)的輸入電壓；陣列中每列單元的源極接在一起，用于接入驅(qū)動(dòng)電壓；陣列中每行單元的漏極連接在一起，用于輸出各單元進(jìn)行乘法運(yùn)算后并累加得到的運(yùn)算電流；按照乘法對(duì)應(yīng)關(guān)系，陣列中每?jī)尚袨橐唤M，其中一行表示負(fù)數(shù)，另一行表示正數(shù)，各組按照正負(fù)關(guān)系被預(yù)先寫入乘數(shù)向量的各元素；

加權(quán)求和電路，用于對(duì)位于同一組代表不同位的所述運(yùn)算電流進(jìn)行加權(quán)求和運(yùn)算；

減法電路，每組設(shè)置一減法電路，用于對(duì)代表不同位加權(quán)求和后的運(yùn)算結(jié)果進(jìn)行減法運(yùn)算；

模數(shù)轉(zhuǎn)換電路，用于將進(jìn)行減法運(yùn)算后的結(jié)果轉(zhuǎn)換為二進(jìn)制數(shù)字量。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述加權(quán)求和電路為電流鏡，用于將處于不同位的電流值加權(quán)求和，權(quán)值為2^k-1，其中k為不同電流值對(duì)應(yīng)的位數(shù)。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述NOR FLASH計(jì)算陣列為多個(gè)，分別對(duì)應(yīng)乘數(shù)向量中各元素的不同位。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述矩陣向量乘法運(yùn)算為神經(jīng)網(wǎng)絡(luò)全連接層的運(yùn)算，所述被乘數(shù)向量為1×M的輸入向量X，所述乘數(shù)向量為M×N的權(quán)值矩陣K，其中M，N分別為正整數(shù)。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述矩陣向量乘法運(yùn)算為神經(jīng)網(wǎng)絡(luò)卷積層的運(yùn)算，規(guī)模為M×N的輸入矩陣X的各部分分別與規(guī)為k×k的卷積核K進(jìn)行矩陣向量乘法運(yùn)算，完成卷積操作并得到規(guī)模為m×n的輸出矩陣Y，數(shù)學(xué)表達(dá)如下：

Y_i，j＝X_i，j·K_k，k+X_i，j+1·K_k，k-1+X_i+1，j·K_k-1，k+…+X_{i+k-1，j+k-1}·K_1，1

其中1≤i≤M-k+1(m)，1≤j≤N-k+1(n)。

6.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述矩陣向量乘法運(yùn)算為神經(jīng)網(wǎng)絡(luò)平均池化運(yùn)算，平均池化對(duì)應(yīng)于卷積核均為1/n，步長(zhǎng)為n的卷積運(yùn)算。

7.應(yīng)用權(quán)利要求1的系統(tǒng)進(jìn)行卷積層運(yùn)算的方法，包括：按照卷積運(yùn)算對(duì)應(yīng)關(guān)系，在NORFLASH計(jì)算陣列各組中預(yù)先寫入卷積核中數(shù)據(jù)；

在NOR FLASH計(jì)算陣列中，各列依次輸入與輸入矩陣的元素相對(duì)應(yīng)的輸入電壓；

通過模數(shù)轉(zhuǎn)換電路獲得卷積后的矩陣。

8.應(yīng)用權(quán)利要求1的系統(tǒng)進(jìn)行全連接層運(yùn)算的方法，包括：

按照全連接層運(yùn)算對(duì)應(yīng)關(guān)系，在NOR FLASH計(jì)算陣列各組中預(yù)先寫入權(quán)值矩陣數(shù)據(jù)；

在NOR FLASH計(jì)算陣列中，各列依次輸入與輸入向量的元素相對(duì)應(yīng)的輸入電壓；

通過模數(shù)轉(zhuǎn)換電路獲得全連接運(yùn)算后的向量。

9.應(yīng)用權(quán)利要求1的系統(tǒng)進(jìn)行平均池化運(yùn)算的方法，包括：

按照平均池化運(yùn)算對(duì)應(yīng)關(guān)系，在NOR FLASH計(jì)算陣列各組中預(yù)先寫入與n×n的卷積核相對(duì)應(yīng)的數(shù)據(jù)，卷積核中各元素均為1/n；

在NOR FLASH計(jì)算陣列中，各列依次輸入與輸入向量的元素相對(duì)應(yīng)的輸入電壓；

通過模數(shù)轉(zhuǎn)換電路獲得平均池化運(yùn)算后的矩陣。

10.應(yīng)用權(quán)利要求1的系統(tǒng)進(jìn)行矩陣向量乘法運(yùn)算的方法，包括：

按照矩陣向量乘法運(yùn)算對(duì)應(yīng)關(guān)系，在NOR FLASH計(jì)算陣列各組中預(yù)先寫入乘數(shù)向量數(shù)據(jù)；

在NOR FLASH計(jì)算陣列中，各列依次輸入與輸入向量的元素相對(duì)應(yīng)的輸入電壓；

通過模數(shù)轉(zhuǎn)換電路獲得進(jìn)行乘法運(yùn)算后的運(yùn)算結(jié)果。