[發明專利]內存管理方法、裝置及存儲介質

在審

• 申請號: 201911396930.2
• 申請日: 2019-12-30
• 公開（公告）號: CN113127181A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 徐超;葉挺群
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

本申請公開了一種內存管理方法、裝置及存儲介質，屬于深度學習技術領域。在本申請中，可以先確定深度學習網絡的多個計算層組和每個計算層組對應的復用內存值。在深度學習網絡運行的過程中，可以通過對比當前待運算的目標計算層所屬的目標計算層組的復用內存值與參考內存閾值，來決定是從預先未分配給該深度學習網絡的內存中為目標計算層動態分配復用內存，還是從預先為該深度學習網絡分配的內存池中為目標計算層分配復用內存。也即，本申請可以根據計算層所需內存大小來采用不同的方式合理為其分配內存，這樣，相較于一直采用動態分配內存的方式來進行分配，能夠減少申請和釋放內存的次數，有效控制內存碎片化，提高內存的使用效率。

技術領域

本申請涉及深度學習技術領域，特別涉及一種內存管理方法、裝置及存儲介質。

背景技術

當前，深度學習技術被廣泛的應用于各行各業中。在應用深度學習技術的過程中，例如，在計算設備根據訓練好的深度學習網絡進行前向推理的過程中，計算設備需要為深度學習網絡分配運行時所需的內存。然而，由于當前的深度學習網絡越來越龐大，所需處理的數據量也越來越大，因此，對內存的需求也越來越大。在這種情況下，如果內存管理不合理，可能會導致內存的使用效率較低。基于此，亟需提供一種合理地管理內存的方法，以提高內存的使用效率。

發明內容

本申請提供了一種內存管理方法、裝置及存儲介質，可以解決相關技術中深度學習網絡中內存管理不合理的情況下，可能導致內存的使用效率較低的問題。所述技術方案如下：

一方面，提供了一種內存管理方法，所述方法包括：

確定深度學習網絡的多個計算層組和每個計算層組對應的復用內存值，每個計算層組包括多個允許進行內存復用的計算層，每個計算層組對應的復用內存值為相應計算層組包括的多個計算層運算時所需的最大內存值；

如果當前待運算的目標計算層所屬的目標計算層組對應的目標復用內存值大于參考內存閾值，且所述目標計算層為所述目標計算層組中的第一個計算層，則根據所述目標復用內存值，從未分配給所述深度學習網絡的內存中，為所述目標計算層分配復用內存；

如果所述目標計算層所屬的目標計算層組對應的目標復用內存值不大于所述參考內存閾值，則根據所述目標計算層所需的目標內存大小，從所述深度學習網絡對應的內存池中，為所述目標計算層分配復用內存，所述內存池是指預先為所述深度學習網絡分配的內存。

可選地，所述復用內存的大小為最小分配單元的整數倍。

可選地，所述內存池包括一個或多個內存塊，所述內存池對應一個雙向鏈表，所述雙向鏈表包括一個或多個節點，每個節點對應所述內存池中的一個內存塊，且每個節點中存儲有對應的內存塊的內存信息；

所述根據所述目標計算層所需的目標內存大小，從所述深度學習網絡對應的內存池中，為所述目標計算層分配復用內存，包括：

根據所述目標內存大小和所述雙向鏈表中各個節點存儲的內存信息，從所述雙向鏈表包括的一個或多個節點中，確定目標節點；

根據所述目標內存大小，從所述目標節點對應的內存塊中，為所述目標計算層分配所述復用內存。

可選地，所述內存信息包括相應內存塊的內存占用狀態、總內存值、相應內存塊的位置信息、相應內存塊的前一個內存塊的位置信息以及相應內存塊的后一個內存塊的位置信息，所述一個或多個節點按照對應的內存塊的先后順序排列；

所述根據所述目標內存大小和所述雙向鏈表中各個節點存儲的內存信息，從所述雙向鏈表包括的一個或多個節點中，確定目標節點，包括：

根據所述目標內存大小，從所述雙向鏈表的第一個節點開始查找，將第一個查找到的存儲的內存占用狀態為空閑狀態且總內存值不小于所述目標內存大小的節點，確定為所述目標節點。