[發(fā)明專利]基于8T-SRAM單元的多位矢量-矩陣乘積運(yùn)算器

在審

• 申請(qǐng)?zhí)枺?/td>: 202210210273.3
• 申請(qǐng)日: 2022-03-04
• 公開（公告）號(hào): CN114547546A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 陳弈;李曉玥
• 申請(qǐng)（專利權(quán)）人: 北京微芯區(qū)塊鏈與邊緣計(jì)算研究院
• 主分類號(hào): G06F17/16
• 分類號(hào): G06F17/16;G06F7/50;G06F7/52
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 李冉

本發(fā)明公開了一種基于8T?SRAM單元的多位矢量?矩陣乘積運(yùn)算器，包括：行多通道數(shù)字模擬轉(zhuǎn)換器、運(yùn)算陣列、SRAM位讀寫電路、SRAM行選擇電路、列多通道模擬數(shù)字轉(zhuǎn)換器和后處理電路；行多通道數(shù)字模擬轉(zhuǎn)換器用于將輸入數(shù)據(jù)二進(jìn)制數(shù)轉(zhuǎn)換為相應(yīng)的電流；運(yùn)算陣列由M行、N×P列8T?SRAM單元組成，用于權(quán)重矩陣的存儲(chǔ)以及輸入電流和權(quán)重矩陣的乘積運(yùn)算；列多通道模擬數(shù)字轉(zhuǎn)換器用于將所對(duì)應(yīng)第j列的讀位線上的輸出電流差轉(zhuǎn)換為二進(jìn)制數(shù)D_j；后處理電路用于對(duì)D_j進(jìn)行相應(yīng)的左移位操作，給予所對(duì)應(yīng)的列單元相應(yīng)的二進(jìn)制權(quán)重，并將相鄰P通道左移位后的輸出求和，得到最終矢量輸出。本發(fā)明無需過多增加單元面積，避免存儲(chǔ)電位互相干擾，且能提高神經(jīng)網(wǎng)絡(luò)前向傳播效率。

技術(shù)領(lǐng)域

本發(fā)明涉及運(yùn)算器技術(shù)領(lǐng)域，更具體的說是涉及一種基于8T-SRAM單元的多位矢量-矩陣乘積運(yùn)算器。

背景技術(shù)

傳統(tǒng)計(jì)算機(jī)體系結(jié)構(gòu)以馮·諾伊曼架構(gòu)為主流，將計(jì)算單元和數(shù)據(jù)存儲(chǔ)單元分開，需要對(duì)數(shù)據(jù)進(jìn)行運(yùn)算的時(shí)候，會(huì)將數(shù)據(jù)從數(shù)據(jù)存儲(chǔ)單元中搬運(yùn)到計(jì)算單元中進(jìn)行相應(yīng)的運(yùn)算后，再搬運(yùn)回?cái)?shù)據(jù)存儲(chǔ)單元。這種架構(gòu)的優(yōu)點(diǎn)在于各個(gè)功能模塊的分工明確，各功能模塊可以針對(duì)自身定位做專門的優(yōu)化和技術(shù)演進(jìn)，使各子系統(tǒng)性能不斷優(yōu)化，達(dá)到對(duì)整個(gè)計(jì)算系統(tǒng)的改進(jìn)。數(shù)據(jù)存儲(chǔ)單元根據(jù)不同的應(yīng)用需求發(fā)展出了層次化的存儲(chǔ)架構(gòu)，如寄存器、緊耦合存儲(chǔ)器、各級(jí)緩存以及各種遠(yuǎn)端大容量存儲(chǔ)，并采用不同的技術(shù)路線對(duì)上述不同類型的存儲(chǔ)需求進(jìn)行優(yōu)化。馮·諾伊曼架構(gòu)的問題在于系統(tǒng)中的數(shù)據(jù)在存儲(chǔ)單元和計(jì)算單元之前的來回搬運(yùn)可能成為系統(tǒng)的性能瓶頸，消耗大量的功耗。而人工智能等涉及大批量數(shù)據(jù)處理的新應(yīng)用的興起，更加劇了上述性能瓶頸。

針對(duì)上述馮·諾伊曼架構(gòu)的“內(nèi)存墻”問題，一種可行的解決方案是引入存內(nèi)計(jì)算，即賦予存儲(chǔ)單元一定的計(jì)算能力，使部分?jǐn)?shù)據(jù)無需被搬運(yùn)到計(jì)算單元即可完成相應(yīng)的計(jì)算操作，從而降低了數(shù)據(jù)在存儲(chǔ)單元和計(jì)算單元之間移動(dòng)的能耗，提高系統(tǒng)性能。

根據(jù)存儲(chǔ)器所使用工藝的不同，當(dāng)前存內(nèi)計(jì)算大致可以分為基于SRAM的存內(nèi)計(jì)算、基于閃存的存內(nèi)計(jì)算和基于新型NVM的存內(nèi)計(jì)算等幾種。SRAM存儲(chǔ)器由于不需要特殊工藝和額外的掩膜版，在數(shù)字系統(tǒng)中非常常見，因此值得通過存內(nèi)計(jì)算技術(shù)進(jìn)行優(yōu)化。

論文“A 64-Tile 2.4-Mb In-Memory-Computing CNN Accelerator EmployingCharge-Domain Compute”介紹了一種基于SRAM的存內(nèi)計(jì)算實(shí)現(xiàn)CNN(卷積神經(jīng)網(wǎng)絡(luò))運(yùn)算加速的方法。如圖1所示，為了實(shí)現(xiàn)所需的存內(nèi)計(jì)算操作，文章在傳統(tǒng)6T-SRAM單元的基礎(chǔ)上增加了兩個(gè)晶體管M7和M8，作為存內(nèi)計(jì)算操作所需的開關(guān)，將存儲(chǔ)二值權(quán)重的點(diǎn)位Wnijk和Wbnijk連接到單元內(nèi)新增的一個(gè)電容上。根據(jù)Wnijk和Wbnijk所存儲(chǔ)的電位，以及M7和M8的柵極電位的不同，可以實(shí)現(xiàn)圖1右表中所示的XNOR邏輯，也即1位輸入和1位權(quán)重的乘積運(yùn)算，結(jié)果暫存在單元內(nèi)的電容上。隨后多個(gè)單元的電容被同時(shí)連接到底讀位線上，綜合得到多位乘法結(jié)果。但是，該結(jié)構(gòu)存在以下問題：1.存儲(chǔ)單元電路復(fù)雜，在經(jīng)典的6晶體管SRAM單元(6T-SRAM單元)的基礎(chǔ)上增加了較多的器件，甚至包括電容等面積消耗較大的器件，使得單元面積大大增加。2.存內(nèi)計(jì)算操作通常將單元的比特信息存儲(chǔ)點(diǎn)位直接同讀位線相連，由于在存內(nèi)計(jì)算操作中讀位線可能同時(shí)連接多個(gè)存儲(chǔ)單元的存儲(chǔ)點(diǎn)位，該操作可能導(dǎo)致多個(gè)連接到讀位線上的存儲(chǔ)電位互相干擾，破壞存儲(chǔ)的比特信息。3.在多數(shù)基于SRAM單元的存內(nèi)計(jì)算方案中，每個(gè)單元僅僅承擔(dān)二值乘法運(yùn)算，即乘法的兩個(gè)操作數(shù)都是1位的，對(duì)所能應(yīng)用的神經(jīng)網(wǎng)絡(luò)提出了限制條件，即神經(jīng)網(wǎng)絡(luò)需要支持1位的權(quán)重或網(wǎng)絡(luò)輸入。

因此，如何提供一種不過多增加單元面積，避免存儲(chǔ)電位互相干擾，提高神經(jīng)網(wǎng)絡(luò)前向傳播效率的基于8T-SRAM單元的多位矢量-矩陣乘積運(yùn)算器是本領(lǐng)域技術(shù)人員亟需解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種基于8T-SRAM單元的多位矢量-矩陣乘積運(yùn)算器，無需過多增加單元面積，避免存儲(chǔ)電位互相干擾，且能提高神經(jīng)網(wǎng)絡(luò)前向傳播效率。