[發明專利]一種神經網絡計算的內存管理方法

在審

• 申請號: 202110272308.1
• 申請日: 2021-03-12
• 公開（公告）號: CN113139649A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 楊旭光
• 申請（專利權）人: 蘇州芯啟微電子科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F9/50
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種神經網絡計算的內存管理方法，其特征包括：

對于張量計算所需的輸入、臨時、輸出數據均有指定的數據區，用于進行數據讀寫訪問。

2.根據權利要求1所述的數據區，其特征還在于：

靜態分配：在張量計算運行前，根據算法配置及計算特點，確定內存需求大小；為每一具體運算固定分配所需內存的地址和空間；

數據復用：計算過程中，在復用數據之間直接復用相同的存儲空間，進行數據共享，節省數據搬運等系統開銷；節省空間碎片的開銷，降低內存管理復雜度；

直接操作：計算運行前，根據算法的配置初始化存儲區描述和數據描述的指針，偏移量，長度，層編號；計算運行中，根據存儲區描述和數據描述值，通過簡單計算直接獲取算子所需數據項在存儲區的地址，完成讀寫操作。

3.根據權利要求1所述的數據區，其特征還在于：

該存儲區分配只讀和讀寫兩種屬性；只讀數據只能初始化和讀取、可做算子間分享，數據不能更新，不能復用為可寫區間；

可讀寫數據可被讀寫和復用、可做算子間復用。

4.根據權利要求1所述的數據區，其特征還在于：

各數據區對應有其數據描述區；根據計算需求和硬件部署策略的需要，描述了該數據區：是否需要初始化；是否可復用；是否需要保留，及保留的生命周期。

5.根據權利要求4所述的數據描述區，其特征在于：

在部署計算前，采用預先編譯的方法得到明確。