[發明專利]內存管理方法及裝置

有效

• 申請號: 202011466212.0
• 申請日: 2020-12-14
• 公開（公告）號: CN112241324B
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳勇;趙瑞;劉永超;金躍;歐航;張堯
• 申請（專利權）人: 螞蟻智信（杭州）信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例中提供了一種內存管理方法及裝置。方法包括：響應于內存分配請求，從若干特定資源類中確定目標資源類。其中每個特定資源類均繼承組合資源類，組合資源類繼承原始資源類；原始資源類定義單個張量的內存地址的地址指針和長度描述信息；組合資源類定義內存分配方法函數和若干原子資源組合方式；若干特定資源類對應若干特定資源組合方式，特定資源組合方式是基于一個或多個原子資源組合方式得到的。接著通過目標資源類定義的內存確定方法函數，確定按照與目標資源類相對應的目標資源組合方式為若干張量分配內存時，待分配給若干張量的內存地址。最后通過目標資源類繼承自組合資源類的內存分配方法函數為若干張量分配內存。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及一種內存管理方法及裝置。

背景技術

深度學習技術已得到廣泛的應用。例如，可以通過經訓練的深度學習模型，實現語音識別任務、計算機視覺任務以及自然語言處理任務等。

隨著深度學習技術被更加深入的研究，用于訓練深度學習模型的優化器/深度學習框架，所涉及的內存管理方案可能會日益增多，新增的內存管理方案往往會更加復雜，且新增的內存管理方案還可能對既有的內存管理方案造成影響，為內存管理方案的持續優化和維護帶來了客觀的困難。

希望有一種新的技術方案，以期有利于對內存管理方案進行優化和維護。

發明內容

本說明書一個或多個實施例中提供了一種內存管理方法及裝置。

第一方面，提供了一種內存管理方法，包括：首先接收內存分配請求，該內存分配請求包括相關于深度學習模型的若干張量。然后從預先部署的若干特定資源類中確定出目標資源類，其中每個特定資源類均繼承組合資源類，組合資源類繼承原始資源類；原始資源類定義了待分配給單個張量的內存地址的地址指針和長度描述信息；組合資源類利用長度描述信息和地址指針，定義內存分配方法函數以及若干原子資源組合方式；若干特定資源類對應若干特定資源組合方式，特定資源組合方式是基于若干原子資源組合方式中的一個或多個得到的。接著通過目標資源類定義的內存確定方法函數，確定待分配給若干張量的內存地址，其中，內存確定方法函數用于按照若干特定資源組合方式中與目標資源類對應的目標資源組合方式，確定待分配給若干張量的內存地址。然后按照所確定的待分配給各個張量的內存地址，通過目標資源類繼承自組合資源類的內存分配方法函數為若干張量分配內存。

在一種可能的實施方式中，所述若干張量中的任一當前張量包括：輸入深度學習模型的數據、深度學習模型的超參數、由深度學習模型的多個權重參數組成的向量或矩陣。

在一種可能的實施方式中，所述長度描述信息包括預定的字節長度和/或單個張量的數據類型。

在一種可能的實施方式中，所述若干原子資源組合方式包括以下各種原子資源組合方式中的至少一種：為單個張量分配專用的內存地址、為多個張量分配連續的內存地址、為多個張量分配共享的內存地址，以及按照指定字節對齊為多個張量分配連續的內存地址。

在一種可能的實施方式中，所述若干資源組合方式包括以下各種特定資源組合方式中的一種：

待分配給所述若干張量的內存地址連續；

待分配給所述若干張量的內存地址相同；

所述若干張量包括第一部分張量和第二部分張量，待分配給所述第一部分張量的內存地址組成連續內存區域，待分配給所述第二部分張量中的任一張量的內存地址包含于所述連續內存區域。