[發明專利]基于NVM進行AI計算的芯片架構

在審

• 申請號: 202110541351.3
• 申請日: 2021-05-18
• 公開（公告）號: CN113127407A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 叢維;林小峰;金生
• 申請（專利權）人: 南京優存科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G06N3/04;G06N3/08
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

1.一種基于NVM進行AI計算的芯片架構，其特征在于，包括通過總線通信連接的NVM陣列、外部接口模塊、NPU和MCU；

所述NVM陣列用于片內存儲數字化的神經網絡的權重參數、所述MCU運行的程序以及神經網絡模型；

所述NPU用于神經網絡的數字域加速計算；

所述外部接口模塊用于接收外部的AI運算指令、輸入數據以及向外輸出AI計算的結果；

所述MCU用于基于所述AI運算指令執行所述程序，以控制所述NVM陣列和所述NPU對所述輸入數據進行AI計算，以得到所述AI計算的結果。

2.如權利要求1所述的基于NVM進行AI計算的芯片架構，其特征在于，所述芯片架構還包括高速數據讀取通道；所述NPU還用于通過所述高速數據讀取通道從所述NVM陣列讀取所述權重參數。

3.如權利要求2所述的基于NVM進行AI計算的芯片架構，其特征在于，所述NVM陣列設有讀通道，所述讀通道為N路，N為正整數，在一個讀周期內所述讀通道共讀取N比特數據，所述NPU用于通過所述高速數據讀取通道經所述讀通道從所述NVM陣列讀取所述權重參數。

4.如權利要求3所述的基于NVM進行AI計算的芯片架構，其特征在于，所述高速數據讀取通道的位寬為m比特，m為正整數；所述芯片架構還包括數據轉換單元，所述數據轉換單元包括緩存模塊和順序讀取模塊，所述緩存模塊用于按周期依次緩存經所述讀通道輸出的權重參數，所述緩存模塊的容量為N*k比特，k表示周期數；所述順序讀取模塊用于將所述緩存模塊中的緩存數據轉換成m比特位寬后經所述高速數據讀取通道輸出至所述NPU，其中N*k為m的整數倍。

5.如權利要求1所述的基于NVM進行AI計算的芯片架構，其特征在于，所述芯片架構還包括SRAM，所述SRAM通過所述總線與所述NVM陣列、所述外部接口模塊、所述NPU以及所述MCU通信連接；所述SRAM用于緩存所述MCU執行所述程序過程中的數據，所述NPU運算過程中的數據以及神經網絡模型運算的輸入輸出數據。

6.如權利要求1所述的基于NVM進行AI計算的芯片架構，其特征在于，所述NVM陣列中存儲多種神經網絡模型，所述AI運算指令包括算法選擇指令，所述算法選擇指令用于選擇多個所述神經網絡模型中的一個作為進行AI計算的算法。

7.如權利要求1所述的基于NVM進行AI計算的芯片架構，其特征在于，所述NVM陣列采用閃存工藝、MRAM工藝、RRAM工藝、MTP工藝、OTP工藝中的一種，和/或，所述外部接口模塊的接口標準為SPI、QPI以及并行接口中的至少一種。

8.如權利要求7所述的基于NVM進行AI計算的芯片架構，其特征在于，所述MCU還用于通過所述外部接口模塊接收外部用于操作所述NVM陣列的數據訪問指令，所述MCU還用于基于所述數據訪問指令完成對所述NVM陣列的基本操作的邏輯控制。

9.如權利要求8所述的基于NVM進行AI計算的芯片架構，其特征在于，所述NVM陣列采用SONOS閃存工藝、Floating Gate閃存工藝、Split Gate閃存工藝中的一種，所述外部接口模塊的接口標準為SPI和/或QPI；

所述數據訪問指令為標準的閃存操作指令；所述AI運算指令與所述數據訪問指令采用相同的指令格式和規則；所述AI運算指令包括操作碼，所述AI運算指令還包括地址部分和/或數據部分，所述AI運算指令的操作碼與所述標準的閃存操作指令的操作碼不同。

10.如權利要求5所述的基于NVM進行AI計算的芯片架構，其特征在于，所述芯片架構還包括DMA通道，所述DMA通道用于外部設備直接讀寫所述SRAM。