[發明專利]一種神經網絡的內存分配方法

有效

• 申請號: 202010618681.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111814971B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 鄭迪;任俊林;劉祥有;凌云
• 申請（專利權）人: 杭州國芯科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F9/50;G06F12/02
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種神經網絡的內存分配方法，其特征在于，該方法包括：

S1.獲取計算圖中的計算單元，并按計算順序對每個計算單元依次編號；

S2.獲取模型中所有計算單元的內存可重用張量的計算編號集合；具體是：

S21.確定模型中的內存可重用張量：

模型中的張量包括模型輸入張量、模型輸出張量、模型權重張量、模型數據張量；其中，模型輸入張量和模型數據張量的內存可重復使用，即為內存可重用張量；

S22.確定計算單元的內存可重用張量：

每個計算單元的張量包括單元輸入張量和單元輸出張量；

如果單元輸入張量為模型輸入張量或模型數據張量，則該單元輸入張量為計算單元的內存可重用張量；

如果單元輸出張量為模型數據張量，則該單元輸出張量為計算單元的內存可重用張量；

S23.建立模型中所有計算單元的內存可重用張量的集合R＝{R₁,R₂,…,R_N}，R_n為第n個內存可重用張量,n＝1,2,…,N，N為所有計算單元的內存可重用張量的總數；

S24.每個內存可重用張量為某個計算單元的單元輸入張量或單元輸出張量，建立每個內存可重用張量所在的計算單元編號集合S′＝{S₁,S₂,…,S_M}，S_m為計算單元的編號，m＝1,2,…,M；

S25.取每個內存可重用張量編號集合中的最小編號S_min和最大編號S_max，并在最小編號S_min到最大編號S_max之間填充所有編號，作為每個內存可重用張量最終的編號集合S＝{S_min,S_min+1,…,S_max-1,S_max}，S即為該內存可重用張量的計算編號集合；

S3.確定內存可重用張量的最終內存分配方式；

S4.獲取模型所需可重用內存的總大小和每個內存可重用張量的分配出來的內存地址。

2.如權利要求1所述的一種神經網絡的內存分配方法，其特征在于，步驟S1具體是：

S11.遍歷神經網絡計算圖，去除輸入張量和輸出張量在內存中數據存儲完全一致的操作單元，得到實際需要計算的計算單元；

S12.對所有的計算單元的按照計算順序進行排序，使前面計算單元的輸入張量不依賴于后面計算單元的輸出張量；

S13.按排序后的計算單元依次編號，K個計算單元的編號依次為1,2,…,K。

3.如權利要求1所述的一種神經網絡的內存分配方法，其特征在于，步驟S3具體是：

S31.初始化所有計算單元的編號對應的可用內存為0-∞；

S32.對所有的內存可重用張量按使用內存大小從大到小進行排序；

S33.依次為模型中所有的內存可重用張量分配內存，每個可重用張量分配到的內存大小滿足在該可重用張量在計算編號集合中所有的計算編號點上均能夠分配出內存；

分配次數L由用戶可接受的內存分配時間T′決定，滿足T′≤T，L≥1，T為總分配內存時間，t_l為第l次內存分配時間；分配方式包括：最佳適應方式、首次適應方式、混合方式；

所述的最佳適應方式，是指內存分配時，優先選擇能夠滿足所需內存大小的內存大小最小的空閑內存；

所述的首次適應方式，是指內存分配時，優先選擇能夠滿足所需內存大小的內存地址最低的空閑內存；

所述的混合方式，是指混合使用最佳適應方式和首次適應方式，即對部分計算單元采用最佳適應方式，對部分計算單元采用首次適應方式；對于采用最佳適應方式以及首次適應方式對應的計算單元不同的分配方式，視為不同的混合方式；

每次分配內存可重用張量采用不同的分配方式；

S34.分配出來的所有內存可重用張量的內存，內存結束地址最大的值即為模型所需的內存可重用張量的內存總大小，取內存可重用張量的內存總大小最小的分配方式作為最終分配方式。

4.如權利要求1所述的一種神經網絡的內存分配方法，其特征在于，步驟S4具體是：

S41.根據內存最終分配方式，確定內存可重用張量的內存總大?。?/p>

S42.根據內存最終分配方式，為每個內存可重用張量分配的內存所在地址作為最終的分配地址。