[發明專利]一種內存共享方法、裝置、設備及可讀存儲介質

有效

• 申請號: 202310203652.4
• 申請日: 2023-03-06
• 公開（公告）號: CN116049029B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 袁悅
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F9/54;G06F9/50;G06N3/0464
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

本申請在計算機應用技術領域，公開了一種內存共享方法、裝置、設備及可讀存儲介質，該方法包括：獲取深度學習模型中各個計算表達式所需的內存大小；結合內存大小，創建計算表達式的內存標記；基于內存標記，確定深度學習模型中異構計算單元間共享內存設置；完成內存設置后，進行內存排布，得到內存排布方案，并按照內存排布方案實施內存共享。在本申請中，依賴于內存標記從而實現深度學習模型中的異構計算單元間共享內存，可以避免同一數據的存儲占用多塊內存空間，能夠有效節省內存空間，能夠有效提升深度信息模型的執行效率。

技術領域

本申請涉及計算機應用技術領域，特別是涉及一種內存共享方法、裝置、設備及可讀存儲介質。

背景技術

神經網絡模型在硬件設備（如AI芯片）上執行的過程中會涉及到內存管理。具體來說，神經網絡模型中算子的輸入輸出會占據一定的存儲空間，這種對內存的占據具有時效性，當后續計算不會再用到這部分存儲的數據時，該內存塊即可重用，該部分存儲的數據即可被后面計算數據所覆蓋。

為了提高模型的推理速度，計算單元通常被設計成讀取內存空間中的數據，執行相應的計算指令，會減少推理過程中的判斷，動態管理內存等操作。因此需要深度學習編譯器在編譯神經網絡模型的過程中安排好各個算子的內存使用情況，也就是每個算子所占用的內存空間大小，它在內存空間中的位移（即內存塊編號）。

但是，目前的算子內存的管理存在明顯缺陷。舉例說明：TVM作為深度學習編譯器的典型代表，它支持多種設備運行時的內存管理。它將整個模型進行剖分，得到分配到各個設備上運行的函數（func），在host端（編譯器運行端）內存空間管理各個func的輸入輸出。但是，若在模型中添加偽量化算子，則會導致TVM的深度學習模型中攜帶的數據類型（dtype）與計算單元運行時的真實dtype不一致，這種情況下，TVM自身提供的內存管理方法存在問題。另外，TVM支持host端的內存空間管理，但對于函數內部算子的內存管理，它依賴于設備自身的軟件棧（編譯器），若設備的軟件棧不支持內存管理，則需要對該設備內部及其輸入輸出進行內存管理

綜上所述，如何有效地解決深度學習模型的內存管理等問題，是目前本領域技術人員急需解決的技術問題。

發明內容

本申請的目的是提供一種內存共享方法、裝置、設備及可讀存儲介質，能夠對自身軟件棧不支持內存管理的設備提供一種設備內部及其輸入輸出的內存管理方法，可解決設備廠商軟件開發中內存管理的問題。

為解決上述技術問題，本申請提供如下技術方案：

一種內存共享方法，包括：

獲取深度學習模型中各個計算表達式所需的內存大小；

結合所述內存大小，創建所述計算表達式的內存標記；

基于所述內存標記，確定所述深度學習模型中異構計算單元間共享內存設置；

完成內存設置后，進行內存排布，得到內存排布方案，并按照所述內存排布方案實施內存共享。

優選地，所述獲取深度學習模型中各個計算表達式所需的內存大小，包括：

將所述深度學習模型分為：模型層、函數層和算子層；所述函數層中的函數對應所述異構計算單元；

從所述模型層、函數層和算子層中獲取各個所述計算表達式的數據維度；

對所述深度學習模型的輸入和各個所述計算表達式進行遍歷，得到各個所述計算表達式的數據類型和對齊方式；

利用所述數據維度、所述數據類型和所述對齊方式，確定各個計算表達式所需的內存大小。

優選地，對所述深度學習模型的輸入和各個所述計算表達式進行遍歷，得到各個所述計算表達式的數據類型和對齊方式，包括：