[發明專利]進行矩陣向量乘法運算的系統及進行神經網絡運算方法

在審

• 申請號: 201810984160.2
• 申請日: 2018-08-27
• 公開（公告）號: CN109359269A
• 公開（公告）日: 2019-02-19
• 發明（設計）人: 康晉鋒;項亞臣;黃鵬;韓潤澤;劉曉彥
• 申請（專利權）人: 北京大學
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張宇園

一種進行矩陣向量乘法運算的系統，包括：NOR FLASH計算陣列，陣列中每列單元的柵極接在一起，各列用于依次輸入與被乘數向量的元素相對應的輸入電壓；陣列中每行單元的漏極連接在一起，用于輸出各單元進行乘法運算后并累加(即矩陣向量乘法運算)得到的運算電流；陣列中每兩行為一組，其中一行表示負數，另一行表示正數，各組按照正負關系被預先寫入乘數向量的各元素；加權求和電路，對位于同一組代表不同位的運算電流進行加權求和運算；減法電路，每組設置一減法電路，用于對代表不同位加權求和后的運算結果進行減法運算；模數轉換電路，用于將進行減法運算后的結果轉換為二進制數字量。通過本發明的系統，實現了存儲計算一體化。

技術領域

本發明屬于半導體器件及集成電路領域，具體是一種基于NORFLASH計算陣列進行矩陣向量乘法運算的系統及方法。

背景技術

深度學習和人工智能的發展對數據處理的能效比和硬件消耗提出了嚴苛的要求，傳統意義上的基于馮諾依曼式的計算架構，在執行運算時，受限于中央處理單元CPU和內存間的數據傳輸瓶頸，數據處理速度受到極大限制，同時能量和硬件資源消耗劇增。深度學習中存在大量的矩陣向量乘法運算，基于NOR FLASH設計的存儲計算一體化陣列能夠并行執行矩陣向量乘法運算，能夠在硬件層面對運算進行加速，同時極大地降低能量和硬件資源消耗，對于未來人工智能的硬件化實現和應用具有重要意義。

發明內容

為至少部分解決上述問題，本發明提出了一種基于NOR FLASH計算陣列加速深度學習的方法和系統。

根據本發明的一方面，提供一種基于NOR FLASH計算陣列進行矩陣向量乘法運算的系統，包括：

NOR FLASH計算陣列，陣列中每列單元的柵極接在一起，各列用于依次輸入與被乘數向量的元素相對應的輸入電壓；陣列中每列單元的源極接在一起，用于接入驅動電壓；陣列中每行單元的漏極連接在一起，用于輸出各單元進行乘法運算后并累加得到的運算電流；按照乘法對應關系，陣列中每兩行為一組，其中一行表示負數，另一行表示正數，各組按照正負關系被預先寫入乘數向量的各元素；

加權求和電路，用于對位于同一組代表不同位的所述運算電流進行加權求和運算；

減法電路，每組設置一減法電路，用于對代表不同比特(位)加權求和后的運算結果進行減法運算；

模數轉換電路，用于將進行減法運算后的結果轉換為二進制數字量。

在進一步的實施方案中，所述加權求和電路為電流鏡，用于將處于不同位的電流值加權求和，權值為2^k-1，其中k為不同電流值對應的位數。

在進一步的實施方案中，所述NOR FLASH計算陣列為多個，分別對應乘數向量中各元素的不同位。

在進一步的實施方案中，所述矩陣向量乘法運算為神經網絡全連接層的運算，所述被乘數向量為1×M的輸入向量X，所述乘數向量為M×N的權值矩陣K，其中M，N分別為正整數。

在進一步的實施方案中，所述矩陣向量乘法運算為神經網絡卷積層的運算，輸入矩陣X(M×N)的各部分分別與卷積核K(k×k)進行矩陣向量乘法運算，完成卷積操作并得到輸出矩陣Y(m×n)，數學表達如下：

Y_i，j＝X_i，j·K_k，k+X_i，j+1·K_k，k-1+X_i+1，j·K_k-1，k+…+X_{i+k-1，j+k-1}·K_1，1

其中l≤i≤M-k+1(m)，l≤j≤N-k+1(n)。

在進一步的實施方案中，所述矩陣向量乘法運算為神經網絡平均池化運算，平均池化對應于卷積核均為1/n，步長為n的卷積運算。