[發明專利]基于NVM進行AI計算的芯片系統及其運行方法

有效

• 申請號: 202110540153.5
• 申請日: 2021-05-18
• 公開（公告）號: CN112988082B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 叢維;林小峰;金生
• 申請（專利權）人: 南京優存科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N3/04;G06N3/08
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

本發明公開了一種基于NVM進行AI計算的芯片系統及其運行方法，系統包括第一、第二NVM陣列模塊、外部接口模塊和MCU；第一NVM陣列模塊實現神經網絡的第一類隱藏層的模擬運算算子；第二NVM陣列模塊數字化的存儲神經網絡的第二類隱藏層的權重參數、系統程序、神經網絡的算法流程及神經網絡模型；第一類隱藏層的連接密度高于第二類隱藏層的連接密度；外部接口模塊接收外部輸入的指令、輸入數據及輸出AI計算的結果；外部輸入的指令包括AI運算指令；MCU基于AI運算指令執行系統程序，以根據算法流程控制第一、第二NVM陣列模塊對輸入數據進行AI計算，得到AI計算的結果。本發明能夠提高存儲陣列的利用率，降低芯片成本。

技術領域

本發明涉及NVM（non-volatile memory，非易失性存儲）技術領域，具體涉及一種基于NVM進行AI（Artificial Intelligence，人工智能）計算的芯片系統及其運行方法。

背景技術

AI算法來源于人腦的結構的啟示。人腦是一個由大量神經元復雜連接的網絡，每個神經元通過大量的樹突連接大量的其它神經元，接收信息，每一個連接點叫突觸（Synapse）。在外部刺激積累到一定程度后，產生一個刺激信號，通過軸突傳送出去。軸突有大量的末梢，通過突觸，連接到大量其它神經元的樹突。就是這樣一個由簡單功能的神經元組成的網絡，實現了人類的智能活動。人的記憶和智能，普遍被認為存儲在每一個突觸的不同的耦合強度里。

從上世紀60年代興起的神經網絡算法，用一個函數來模仿神經元的功能。如圖1所示，函數接受多個輸入，每個輸入有不同的權重，輸出是每一個輸入與權重相乘再求和。函數輸出到很多其它的神經元，組成一個神經網絡。

常見的AI芯片在算法上針對網絡計算優化了矩陣并行計算，但因為AI計算需要極高的存儲帶寬，把處理器和內存、存儲分離的架構遇到了讀取速度不夠的瓶頸，也受限于存儲讀取功耗。業界已經開始廣泛研究存儲內計算（In-Memory-computing）也稱為存算一體的架構。

目前采用NVM的存儲內計算的方案，都是利用NVM存儲神經網絡中的權重，把神經網絡的計算通過模擬信號加乘的方法實現。這類方案已經有了不少科研成果，但實際應用仍有困難。例如，如圖2所示的采用在標準NVM子陣列內添加電路進行神經網絡一層計算的原理圖，其利用非易失存儲器來存儲神經網絡計算需要的權重，用模擬電路進行向量乘法，大規模的乘法和加法可以平行進行，其能夠提高運算速度并且節省功耗?；诖鎯﹃嚵袃饶M信號運算的存內計算的一個突出優點是運算效率高、功耗低，但是其適用的神經網絡模型結構不夠靈活。陣列內存內模擬運算最適合的是全連接神經網絡，此時存儲陣列內的存儲單元的利用率最高；而對于非全連接網絡，雖然預存的神經網絡的權重參數矩陣在計算中能夠通過解碼的方式選擇神經元連接的打開與關閉，進而實現不同連接密度的非全連接層的計算，但是勢必會存在不同數量的存儲單元的閑置，隨著非全連接的連接密度的降低，閑置的存儲單元的數量增多，這將導致存儲陣列的利用率顯著下降。而當前通用的神經網絡模型結構都很復雜，AlexNet（一種神經網絡）有8層，VGG（一種卷積神經網絡）有19層，GoogleNet（一種深度神經網絡）有22層，而ResNet（殘差網絡）有152層。其中的算法層包括連續的不同大小Convolution（卷積）、Max Pooling（最大池化）、Average Pooling（平均池化）等計算，又有層間的Skip（跳躍）或Shortcut Connection（短連接）。即使以相對簡單的經典AlexNet為例，原始模型中的8層僅最后3層為全連接層。因此，現有的陣列內存內模擬運算在進行包括不同連接密度層的整個神經網絡的AI計算時存儲陣列利用率較低，導致芯片成本較高。

另外，因為實用的神經網絡基本都有很多層和非常復雜的連接結構，現有的存儲內計算的方案的模擬信號在層間的傳遞、進行各種處理時非常不方便，各種噪音和誤差也會影響到神經網絡模型的可靠性和計算的準確性。

發明內容