[發(fā)明專利]基于NVM進(jìn)行AI計(jì)算的芯片架構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110541351.3
• 申請(qǐng)日: 2021-05-18
• 公開（公告）號(hào): CN113127407A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 叢維;林小峰;金生
• 申請(qǐng)（專利權(quán)）人: 南京優(yōu)存科技有限公司
• 主分類號(hào): G06F15/78
• 分類號(hào): G06F15/78;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 上海容慧專利代理事務(wù)所(普通合伙) 31287
• 代理人: 于曉菁

本發(fā)明提供的一種基于NVM進(jìn)行AI計(jì)算的芯片架構(gòu)，包括通過總線通信連接的NVM陣列、外部接口模塊、NPU和MCU；采用NPU和NVM相結(jié)合進(jìn)行AI神經(jīng)網(wǎng)絡(luò)計(jì)算，神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)數(shù)字化存儲(chǔ)在NVM陣列中，MCU接收外部的AI運(yùn)算指令控制NPU及NVM陣列實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算，MCU控制NVM陣列加載其內(nèi)部存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，通過運(yùn)行的程序和神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行AI計(jì)算，與現(xiàn)有各類采用NVM進(jìn)行模擬運(yùn)算的存算方案相比，數(shù)字存儲(chǔ)與運(yùn)算方式運(yùn)算結(jié)構(gòu)靈活，可靠性好、精度高、讀取準(zhǔn)確度高，故此本發(fā)明在突破采用片外NVM存儲(chǔ)速度瓶頸以及降低外部輸入功耗的同時(shí)，又具備高度的可實(shí)施性、靈活性以及可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及AI(Artificial Intelligence，人工智能)技術(shù)領(lǐng)域，特別涉及一種基于NVM(non-volatile memory，非易失性存儲(chǔ))進(jìn)行AI計(jì)算的芯片架構(gòu)。

背景技術(shù)

AI的算法來源于人腦的結(jié)構(gòu)的啟示。人腦是一個(gè)由大量神經(jīng)元復(fù)雜連接的網(wǎng)絡(luò)，每個(gè)神經(jīng)元通過大量的樹突連接大量的其他神經(jīng)元，接收信息，每一個(gè)連接點(diǎn)叫突觸(Synapse)。在外部刺激積累到一定程度后，產(chǎn)生一個(gè)刺激信號(hào)，通過軸突傳送出去。軸突有大量的末梢，通過突觸，連接到大量其他神經(jīng)元的樹突。就是這樣一個(gè)由簡(jiǎn)單功能的神經(jīng)元組成的網(wǎng)絡(luò)，實(shí)現(xiàn)了人類所有的智能活動(dòng)。人的記憶和智能，普遍被認(rèn)為存儲(chǔ)在每一個(gè)突觸的不同的耦合強(qiáng)度里。

從上世紀(jì)60年代興起的神經(jīng)網(wǎng)絡(luò)算法，用一個(gè)函數(shù)來模仿神經(jīng)元的功能。函數(shù)接受多個(gè)來自其他神經(jīng)元的輸入，每個(gè)輸入有不同的權(quán)重，輸出是每一個(gè)輸入與相應(yīng)的神經(jīng)元連接權(quán)重相乘再求和。函數(shù)輸出再輸入到下一層其他的神經(jīng)元，組成一個(gè)神經(jīng)網(wǎng)絡(luò)。

常見的AI芯片在算法上針對(duì)網(wǎng)絡(luò)計(jì)算優(yōu)化了矩陣并行計(jì)算，但因?yàn)锳I計(jì)算需要極高的存儲(chǔ)讀取帶寬，把處理器和內(nèi)存、存儲(chǔ)分離的架構(gòu)遇到了讀取速度的瓶頸，也受限于外部存儲(chǔ)讀取功耗。業(yè)界已經(jīng)開始廣泛研究存儲(chǔ)內(nèi)計(jì)算(in-memory-computing)的架構(gòu)。

目前采用NVM的存儲(chǔ)內(nèi)計(jì)算的方案，都是利用NVM采用模擬信號(hào)的形式存儲(chǔ)神經(jīng)網(wǎng)絡(luò)中的權(quán)重，把神經(jīng)網(wǎng)絡(luò)的計(jì)算通過模擬信號(hào)加乘的方法實(shí)現(xiàn)，具體范例參見公開號(hào)為CN109086249A的中國(guó)專利申請(qǐng)。這類方案已經(jīng)有了不少科研成果，但實(shí)際應(yīng)用仍有困難。因?yàn)閷?shí)用的神經(jīng)網(wǎng)絡(luò)基本都有很多的層和非常復(fù)雜的連接結(jié)構(gòu)，模擬信號(hào)在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算過程中在層間的傳遞、進(jìn)行各種信號(hào)處理時(shí)非常不方便，模擬計(jì)算陣列結(jié)構(gòu)僵化，不利于支持靈活的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。另外，模擬信號(hào)的存儲(chǔ)、讀寫與計(jì)算中各種噪音和誤差會(huì)影響到存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)模型的可靠性和計(jì)算的準(zhǔn)確性受限。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于NVM進(jìn)行AI計(jì)算的芯片架構(gòu)，克服現(xiàn)有的存儲(chǔ)內(nèi)計(jì)算的方案利用NVM采用模擬信號(hào)的形式存儲(chǔ)神經(jīng)網(wǎng)絡(luò)中的權(quán)重時(shí)，模擬信號(hào)在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算過程中在層間的傳遞、進(jìn)行各種信號(hào)處理時(shí)非常不方便，模擬計(jì)算陣列結(jié)構(gòu)僵化，不利于支持靈活的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以及模擬信號(hào)的存儲(chǔ)、讀寫與計(jì)算中各種噪音和誤差會(huì)影響到存儲(chǔ)的神經(jīng)網(wǎng)絡(luò)模型的可靠性和計(jì)算的準(zhǔn)確性受限的缺陷，提供一種在突破了外部存儲(chǔ)的速度瓶頸及降低外部輸入的功耗的同時(shí)又具有更好的靈活性、高度的可實(shí)施性以及可靠性的基于NVM進(jìn)行AI計(jì)算的芯片架構(gòu)。

為了達(dá)到上述目的，本發(fā)明提供一種基于NVM進(jìn)行AI計(jì)算的芯片架構(gòu)，包括通過總線通信連接的NVM陣列、外部接口模塊、NPU(嵌入式神經(jīng)網(wǎng)絡(luò)處理器)和MCU(Microcontroller Unit，微控制單元)；

所述NVM陣列用于片內(nèi)存儲(chǔ)數(shù)字化的神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)、所述MCU運(yùn)行的程序以及神經(jīng)網(wǎng)絡(luò)模型；

所述NPU用于神經(jīng)網(wǎng)絡(luò)的數(shù)字域加速計(jì)算；

所述外部接口模塊用于接收外部的AI運(yùn)算指令、輸入數(shù)據(jù)以及向外輸出AI計(jì)算的結(jié)果；

所述MCU用于基于所述AI運(yùn)算指令執(zhí)行所述程序，以控制所述NVM陣列和所述NPU對(duì)所述輸入數(shù)據(jù)進(jìn)行AI計(jì)算，以得到所述AI計(jì)算的結(jié)果。