[發(fā)明專利]一種內存共享方法、裝置、設備及可讀存儲介質

有效

• 申請?zhí)枺?/td>: 202310203652.4
• 申請日: 2023-03-06
• 公開（公告）號: CN116049029B
• 公開（公告）日: 2023-07-14
• 發(fā)明（設計）人: 袁悅
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F9/54;G06F9/50;G06N3/0464
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

1.一種內存共享方法，其特征在于，包括：

獲取深度學習模型中各個計算表達式所需的內存大小；

結合所述內存大小，創(chuàng)建所述計算表達式的內存標記；

基于所述內存標記，確定所述深度學習模型中異構計算單元間共享內存設置；其中，所述共享內存設置，為基于所述內存標記，指明同一塊內存中存儲的數據可以被哪些對象共享使用；

完成內存設置后，進行內存排布，得到內存排布方案，并按照所述內存排布方案實施內存共享。

2.根據權利要求1所述的內存共享方法，其特征在于，所述獲取深度學習模型中各個計算表達式所需的內存大小，包括：

將所述深度學習模型分為：模型層、函數層和算子層；所述函數層中的函數對應所述異構計算單元；

從所述模型層、函數層和算子層中獲取各個所述計算表達式的數據維度；

對所述深度學習模型的輸入和各個所述計算表達式進行遍歷，得到各個所述計算表達式的數據類型和對齊方式；

利用所述數據維度、所述數據類型和所述對齊方式，確定各個計算表達式所需的內存大小。

3.根據權利要求2所述的內存共享方法，其特征在于，對所述深度學習模型的輸入和各個所述計算表達式進行遍歷，得到各個所述計算表達式的數據類型和對齊方式，包括：

在所述函數層，對各個函數進行遍歷，若函數與專用計算單元對應，則按照所述專用計算單元的要求計算數據類型和對齊方式，若函數未與專用計算單元對應，則按照所述深度學習模型的信息計算數據類型和對齊方式；

在所述算子層，對各個算子進行遍歷，算子初始的數據類型和對齊方式按照所述深度學習模型的信息計算，與函數輸入相對應的算子輸入的數據類型和對齊方式更改為與該函數輸入的數據類型和對齊方式相同；與函數輸出相對應的算子輸出的數據類型和對齊方式更改為與該函數輸出的數據類型和對齊方式相同；若算子的后續(xù)算子為偽量化算子，則該算子輸出的數據類型更改為按偽量化的要求計算；

在所述模型層，深度學習模型輸入的數據類型和對齊方式確定為與對應函數輸入的數據類型和對齊方式相同；深度學習模型輸出的數據類型和對齊方式確定為與對應函數輸出的數據類型和對齊方式相同。

4.根據權利要求1所述的內存共享方法，其特征在于，結合所述內存大小，創(chuàng)建所述計算表達式的內存標記，包括：

結合所述內存大小，為各個所述計算表達式創(chuàng)建一個所述內存標記，并初始化所述內存標記。

5.根據權利要求4所述的內存共享方法，其特征在于，為各個所述計算表達式創(chuàng)建一個所述內存標記，包括：

若所述計算表達式為張量類型節(jié)點，則為所述計算表達式創(chuàng)建包括一個張量內存標記的所述內存標記；

若所述計算表達式為元組類型節(jié)點，則為所述計算表達式創(chuàng)建包括多個張量內存標記的所述內存標記；

其中，所述張量內存標記包括：內存編號、內存復用標識、張量占用內存大小和內存分配大小；其中，內存復用標識初始值為0。

6.根據權利要求5所述的內存共享方法，其特征在于，初始化所述內存標記，包括：

利用所述內存大小對所述內存標記中的張量占用內存大小進行賦值；

以節(jié)點類型進入分支，并為所述內存標記中的內存復用標識進行初始化。

7.根據權利要求6所述的內存共享方法，其特征在于，所述以節(jié)點類型進入分支，并為所述內存標記中的內存復用標識進行初始化，包括：

對于輸入型節(jié)點、常數節(jié)點或輸出型節(jié)點，將所述計算表達式的所述內存復用標識值加1。

8.根據權利要求6所述的內存共享方法，其特征在于，所述以節(jié)點類型進入分支，并為所述內存標記中的內存復用標識進行初始化，包括：

對于普通計算節(jié)點，獲取所述計算表達式的輸入的內存標記，并將所述內存復用標識值加1。