[發明專利]內存管理方法及裝置

有效

• 申請號: 202011466212.0
• 申請日: 2020-12-14
• 公開（公告）號: CN112241324B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳勇;趙瑞;劉永超;金躍;歐航;張堯
• 申請（專利權）人: 螞蟻智信（杭州）信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種內存管理方法，包括：

接收內存分配請求；其中，所述內存分配請求包括相關于深度學習模型的若干張量，所述若干張量中的任一當前張量包括：輸入深度學習模型的數據、深度學習模型的超參數、由深度學習模型的多個權重參數組成的向量或矩陣；

從預先部署的若干特定資源類中確定出目標資源類；其中，每個所述特定資源類均繼承組合資源類，所述組合資源類繼承原始資源類；所述原始資源類定義了待分配給單個張量的內存地址的地址指針和長度描述信息；所述組合資源類利用所述長度描述信息和所述地址指針，定義內存分配方法函數以及若干原子資源組合方式，所述若干原子資源組合方式包括以下各種原子資源組合方式中的至少一種：為單個張量分配專用的內存地址、為多個張量分配連續的內存地址、為多個張量分配共享的內存地址，以及按照指定字節對齊為多個張量分配連續的內存地址；所述若干特定資源類對應若干特定資源組合方式，所述特定資源組合方式是基于所述若干原子資源組合方式中的一個或多個得到的；

通過所述目標資源類定義的內存確定方法函數，確定待分配給所述若干張量的內存地址；其中，所述內存確定方法函數用于按照所述若干特定資源組合方式中與所述目標資源類對應的目標資源組合方式，確定待分配給所述若干張量的內存地址；

按照所確定待分配給所述若干張量的內存地址，通過所述目標資源類繼承自所述組合資源類的內存分配方法函數，為所述若干張量分配內存。

2.根據權利要求1所述的方法，其中，所述長度描述信息包括預定的字節長度和/或單個張量的數據類型。

3.根據權利要求1所述的方法，其中，所述若干特定資源組合方式包括以下各種特定資源組合方式中的一種：

待分配給所述若干張量的內存地址連續；

待分配給所述若干張量的內存地址相同；

所述若干張量包括第一部分張量和第二部分張量，待分配給所述第一部分張量的內存地址組成連續內存區域，待分配給所述第二部分張量中的任一張量的內存地址包含于所述連續內存區域。

4.根據權利要求1所述的方法，其中，所述組合資源類還定義了資源列表和資源添加方法函數；

所述方法還包括：通過所述目標資源類繼承自所述組合資源類的資源添加方法函數，向所述資源列表添加所述若干張量；

所述通過所述目標資源類定義的內存確定方法函數，確定待分配給所述若干張量的內存地址，具體包括：通過所述目標資源類定義的內存確定方法函數確定，按照所述若干特定資源組合方式中與所述目標資源類對應的目標資源組合方式為所述資源列表中的所述若干張量分配內存時，待分配給所述若干張量的內存地址。

5.根據權利要求1所述的方法，其中，所述組合資源類還定義了單個張量的生命周期和內存更新方法函數；

所述方法還包括：對于所述若干張量中的任一當前張量，根據所述當前張量的生命周期，通過所述目標資源類繼承自所述組合資源類的內存更新方法函數，將分配給所述當前張量的內存地址上的數據更新為所述當前張量。

6.根據權利要求1所述的方法，其中，所述組合資源類還定義了內存釋放方法函數；

所述方法還包括：

接收內存釋放請求；其中，所述內存釋放請求用于請求釋放為所述若干張量分配的內存地址；

根據所述目標資源類繼承自所述組合資源類的內存釋放方法函數，釋放為所述若干張量分配的內存地址。

7.根據權利要求1至6中任一所述的方法，其中，所述原始資源類還定義了執行所述內存管理方法的處理器的設備信息，所述設備信息包括所述處理器的設備標識和/或設備類型；

所述方法還包括：根據所述設備信息，從至少一個內存分配器中確定出與所述處理器相對應的目標內存分配器；

所述通過所述目標資源類繼承自所述組合資源類的內存分配方法函數，為所述若干張量分配內存，包括：通過所述目標資源類繼承自所述組合資源類的內存分配方法函數調用所述目標內存分配器，使所述目標內存分配器為所述若干張量分配內存。