[發明專利]基于NVM進行AI計算的芯片系統及其運行方法

有效

• 申請號: 202110540153.5
• 申請日: 2021-05-18
• 公開（公告）號: CN112988082B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 叢維;林小峰;金生
• 申請（專利權）人: 南京優存科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N3/04;G06N3/08
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

1.一種基于NVM進行AI計算的芯片系統，其特征在于，包括通過總線通信連接的第一NVM陣列模塊、第二NVM陣列模塊、外部接口模塊和MCU；

所述第一NVM陣列模塊用于實現神經網絡的第一類隱藏層的模擬運算算子；

所述第二NVM陣列模塊用于數字化的存儲所述神經網絡的第二類隱藏層的權重參數、所述MCU運行的系統程序、所述神經網絡的算法流程以及訓練好的神經網絡模型；

其中，所述第一類隱藏層的連接密度高于所述第二類隱藏層的連接密度；

所述外部接口模塊用于接收外部輸入的指令、輸入數據以及向外輸出AI計算的結果；所述外部輸入的指令包括AI運算指令；

所述MCU用于基于所述AI運算指令執行所述系統程序，以根據所述算法流程控制所述第一NVM陣列模塊、所述第二NVM陣列模塊對所述輸入數據進行AI計算，得到所述AI計算的結果；

所述第一類隱藏層為模擬運算層，所述第二類隱藏層為數字運算層，所述MCU還用于控制相鄰的所述模擬運算層與所述數字運算層之間的數據傳輸和狀態通訊。

2.如權利要求1所述的基于NVM進行AI計算的芯片系統，其特征在于，所述芯片系統還包括NPU；所述NPU通過所述總線與所述第一NVM陣列模塊、所述第二NVM陣列模塊、所述外部接口模塊以及所述MCU通信連接；所述NPU用于所述第二類隱藏層的數字域加速計算；

所述根據所述算法流程控制所述第一NVM陣列模塊、所述第二NVM陣列模塊對所述輸入數據進行AI計算包括：根據所述算法流程分配不同的運算步驟至所述第一NVM陣列模塊、所述第二NVM陣列模塊和/或所述NPU，并控制所述第一NVM陣列模塊、所述第二NVM陣列模塊和/或所述NPU之間的計算數據的傳輸。

3.如權利要求1所述的基于NVM進行AI計算的芯片系統，其特征在于，所述第一NVM陣列模塊包括第一NVM陣列和用于訪問所述第一NVM陣列的第一外圍電路；所述第二NVM陣列模塊包括第二NVM陣列和用于訪問所述第二NVM陣列的第二外圍電路；

所述第一外圍電路和所述第二外圍電路均包括電壓泵和電流泵，和/或，所述第一NVM陣列和所述第二NVM陣列共用電壓泵和電流泵。

4.如權利要求2所述的基于NVM進行AI計算的芯片系統，其特征在于，所述MCU控制所述第二NVM陣列模塊和所述NPU包括：控制調用所述NPU執行數字域加速計算、控制所述NPU對所述第二NVM陣列模塊中的所述第二類隱藏層中的所述權重參數的解碼尋址。

5.如權利要求2所述的基于NVM進行AI計算的芯片系統，其特征在于，所述芯片系統還包括SRAM，所述SRAM通過所述總線與所述第一NVM陣列模塊、所述第二NVM陣列模塊、所述外部接口模塊、所述NPU以及所述MCU通信連接；所述SRAM用于緩存所述MCU執行所述系統程序過程中的數據、所述NPU計算過程中的數據，以及所述模擬運算層與所述數字運算層之間交互的數據。

6.如權利要求2所述的基于NVM進行AI計算的芯片系統，其特征在于，所述芯片系統還包括高速數據讀取通道；所述NPU還用于通過所述高速數據讀取通道從所述第二NVM陣列模塊讀取所述第二類隱藏層的權重參數。

7.如權利要求6所述的基于NVM進行AI計算的芯片系統，其特征在于，所述第二NVM陣列模塊設有讀通道，所述讀通道為K路，K為正整數，在一個讀周期內所述讀通道共讀取K比特數據，所述NPU用于通過所述高速數據讀取通道經所述讀通道從所述第二NVM陣列模塊讀取所述權重參數。

8.如權利要求7所述的基于NVM進行AI計算的芯片系統，其特征在于，所述高速數據讀取通道的位寬為m比特，m為正整數；所述芯片系統還包括數據轉換單元，所述數據轉換單元包括緩存模塊和順序讀取模塊，所述緩存模塊用于按周期依次緩存經所述讀通道輸出的權重參數，所述緩存模塊的容量為K*k比特，k表示周期數；所述順序讀取模塊用于將所述緩存模塊中的緩存數據轉換成m比特位寬后經所述高速數據讀取通道輸出至所述NPU，其中K*k為m的整數倍。