[發明專利]內存管理方法、裝置及存儲介質

在審

• 申請號: 201911396930.2
• 申請日: 2019-12-30
• 公開（公告）號: CN113127181A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 徐超;葉挺群
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

1.一種內存管理方法，其特征在于，所述方法包括：

確定深度學習網絡的多個計算層組和每個計算層組對應的復用內存值，每個計算層組包括多個允許進行內存復用的計算層，每個計算層組對應的復用內存值為相應計算層組包括的多個計算層運算時所需的最大內存值；

如果當前待運算的目標計算層所屬的目標計算層組對應的目標復用內存值大于參考內存閾值，且所述目標計算層為所述目標計算層組中的第一個計算層，則根據所述目標復用內存值，從未分配給所述深度學習網絡的內存中，為所述目標計算層分配復用內存；

如果所述目標計算層所屬的目標計算層組對應的目標復用內存值不大于所述參考內存閾值，則根據所述目標計算層所需的目標內存大小，從所述深度學習網絡對應的內存池中，為所述目標計算層分配復用內存，所述內存池是指預先為所述深度學習網絡分配的內存。

2.根據權利要求1所述的方法，其特征在于，所述復用內存的大小為最小分配單元的整數倍。

3.根據權利要求1所述的方法，其特征在于，所述內存池包括一個或多個內存塊，所述內存池對應一個雙向鏈表，所述雙向鏈表包括一個或多個節點，每個節點對應所述內存池中的一個內存塊，且每個節點中存儲有對應的內存塊的內存信息；

所述根據所述目標計算層所需的目標內存大小，從所述深度學習網絡對應的內存池中，為所述目標計算層分配復用內存，包括：

根據所述目標內存大小和所述雙向鏈表中各個節點存儲的內存信息，從所述雙向鏈表包括的一個或多個節點中，確定目標節點；

根據所述目標內存大小，從所述目標節點對應的內存塊中，為所述目標計算層分配所述復用內存。

4.根據權利要求3所述的方法，其特征在于，所述內存信息包括相應內存塊的內存占用狀態、總內存值、相應內存塊的位置信息、相應內存塊的前一個內存塊的位置信息以及相應內存塊的后一個內存塊的位置信息，所述一個或多個節點按照對應的內存塊的先后順序排列；

所述根據所述目標內存大小和所述雙向鏈表中各個節點存儲的內存信息，從所述雙向鏈表包括的一個或多個節點中，確定目標節點，包括：

根據所述目標內存大小，從所述雙向鏈表的第一個節點開始查找，將第一個查找到的存儲的內存占用狀態為空閑狀態且總內存值不小于所述目標內存大小的節點，確定為所述目標節點。

5.根據權利要求3所述的方法，其特征在于，所述根據所述目標內存大小，從所述目標節點對應的內存塊中，為所述目標計算層分配所述復用內存之后，還包括：

當所述目標節點對應的內存塊的大小大于所述復用內存的大小時，在所述目標節點之后增加一個節點，將所述目標節點對應的內存塊中除所述復用內存之外的剩余內存的內存信息存儲在增加的節點中；

根據所述復用內存的內存信息，更新所述目標節點存儲的內存信息。

6.根據權利要求3所述的方法，其特征在于，所述根據所述目標內存大小，從所述目標節點對應的內存塊中，為所述目標計算層分配所述復用內存之后，還包括：

在釋放所述復用內存之后，將所述目標節點存儲的內存信息中包括的內存占用狀態更新為空閑狀態；

如果與所述目標節點相鄰的節點對應的內存塊中存在內存占用狀態為空閑狀態的內存塊，則將存在的空閑狀態的內存塊與所述復用內存進行合并；

根據合并之后的內存塊的內存信息，對所述雙向鏈表進行更新。

7.根據權利要求1-6任一所述的方法，其特征在于，所述確定深度學習網絡的多個計算層組和每個計算層組對應的復用內存值，包括：

根據所述深度學習網絡中每個計算層的計算方式和各個計算層之間的數據依賴關系，確定所述深度學習網絡包括的多個計算層中的內置復用層；

根據所述深度學習網絡中各個計算層之間的數據依賴關系和所述內置復用層，確定所述多個計算層組；

將所述多個計算層組中每個計算層組包括的多個計算層運算時所需的最大內存值確定為相應計算層組對應的復用內存值。