[發明專利]一種內存管理方法、系統、設備及計算機可讀存儲介質

在審

• 申請號: 202210446431.5
• 申請日: 2022-04-26
• 公開（公告）號: CN114816752A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 何也
• 申請（專利權）人: 山東云海國創云計算裝備產業創新中心有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 呂鑫

1.一種內存管理方法，其特征在于，包括：

獲取目標神經網絡模型；

基于各個目標計算設備對所述目標神經網絡模型中算子的運算支持，將所述目標神經網絡模型剖分為與各個所述目標計算設備對應的子函數；

分發所述子函數至對應的所述目標計算設備；

對于每個所述目標計算設備，均基于所述目標計算設備中各個計算單元的運算信息，將對應的子函數剖分為與各個所述計算單元對應的執行單元，以所述執行單元為粒度對所述目標計算設備進行內存管理。

2.根據權利要求1所述的方法，其特征在于，所述以所述執行單元為粒度對所述目標計算設備進行內存管理，包括：

將所述目標計算設備的內存劃分為目標內存及預留內存；

確定所述執行單元在所述目標內存中的內存占用信息；

基于所述內存占用信息對所述目標計算設備的內存進行管理。

3.根據權利要求2所述的方法，其特征在于，所述確定所述執行單元在所述目標內存中的內存占用信息，包括：

將所述目標內存劃分為與各個所述執行單元對應的內存塊；

將所述執行單元與所述內存塊間的對應關系作為所述內存占用信息。

4.根據權利要求3所述的方法，其特征在于，所述將所述目標內存劃分為與各個所述執行單元對應的內存塊，包括：

基于內存復用原則，將所述目標內存劃分為與各個所述執行單元對應的內存塊。

5.根據權利要求4所述的方法，其特征在于，所述基于所述內存占用信息對所述目標計算設備的內存進行管理，包括：

統計各個所述執行單元在所述子函數中的出現次數，將所述出現次數作為所述執行單元對應的所述內存塊的使用次數，并且若所述執行單元在所述目標計算設備中出現一次，則將所述使用次數的值減1；

對于每個所述執行單元，判斷對應的所述內存塊的所述使用次數的值是否為0；

若所述使用次數的值為0，則允許對所述執行單元對應的所述內存塊進行復用；

若所述使用次數的值不為0，則禁止對所述執行單元對應的所述內存塊進行復用，并返回執行所述若所述執行單元在所述目標計算設備中出現一次，則將所述使用次數的值減1的步驟。

6.根據權利要求3所述的方法，其特征在于，所述將所述目標內存劃分為與各個所述執行單元對應的內存塊，包括：

基于執行速度最快原則，將所述目標內存劃分為與各個所述執行單元對應的內存塊。

7.根據權利要求2至6任一項所述的方法，其特征在于，所述基于所述內存占用信息對所述目標計算設備的內存進行管理之后，還包括：

應用所述預留內存對所述目標內存進行內存補償。

8.一種內存管理系統，其特征在于，包括：

第一獲取模塊，用于獲取目標神經網絡模型；

第一剖分模塊，用于基于各個目標計算設備對所述目標神經網絡模型中算子的運算支持，將所述目標神經網絡模型剖分為與各個所述目標計算設備對應的子函數；

第一分發模塊，用于分發所述子函數至對應的所述目標計算設備；

第二剖分模塊，用于對于每個所述目標計算設備，均基于所述目標計算設備中各個計算單元的運算信息，將對應的子函數剖分為與各個所述計算單元對應的執行單元，以所述執行單元為粒度對所述目標計算設備進行內存管理。

9.一種內存管理設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述內存管理方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述內存管理方法的步驟。