[發(fā)明專利]一種有效加速深度學(xué)習(xí)計(jì)算的內(nèi)存分配方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110028503.X
• 申請日: 2021-01-11
• 公開（公告）號(hào): CN112346877B
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 李國亮;張磊;楊勤富;錢軍
• 申請（專利權(quán)）人: 瀚博半導(dǎo)體（上海）有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N3/08
• 代理公司: 上海市金茂律師事務(wù)所 31299
• 代理人: 王翠平;彭世明

1.一種有效加速深度學(xué)習(xí)計(jì)算的內(nèi)存分配方法，所述深度學(xué)習(xí)計(jì)算網(wǎng)絡(luò)包括多分支運(yùn)算層，其中，該方法包括：

根據(jù)多分支運(yùn)算層運(yùn)算所需內(nèi)存空間大小，確定所述多分支運(yùn)算層的目標(biāo)運(yùn)算順序；

確定按照所述目標(biāo)運(yùn)算順序執(zhí)行所述多分支運(yùn)算層的各分支運(yùn)算結(jié)果連續(xù)存儲(chǔ)的目標(biāo)內(nèi)存分配方案；

根據(jù)所述目標(biāo)內(nèi)存分配方案及所述目標(biāo)運(yùn)算順序，確定執(zhí)行所述多分支運(yùn)算層的內(nèi)存分配方案，具體包括：

m. 根據(jù)所述目標(biāo)運(yùn)算順序逐層為每個(gè)分支運(yùn)算層的輸入信息及輸出結(jié)果分配內(nèi)存空間；

n. 根據(jù)所述內(nèi)存空間分配結(jié)果，確定所述多分支運(yùn)算層的內(nèi)存分配方案；

其中，所述m包括：

判斷下一運(yùn)算層的輸出結(jié)果是否為對應(yīng)所在分支的運(yùn)算結(jié)果；

若是，在為當(dāng)前執(zhí)行運(yùn)算層輸入信息及輸出結(jié)果分配內(nèi)存空間時(shí)，預(yù)留所述分支運(yùn)算結(jié)果對應(yīng)的內(nèi)存空間；及，

優(yōu)先將所述內(nèi)存空間頂部/底部兩端的存儲(chǔ)空間分配給運(yùn)算層的輸入信息及輸出結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多分支運(yùn)算層運(yùn)算所需內(nèi)存空間大小，確定所述多分支運(yùn)算層的目標(biāo)運(yùn)算順序包括：

根據(jù)有向圖運(yùn)算方式，確定所述多分支運(yùn)算層的多種運(yùn)算順序及對應(yīng)的目標(biāo)運(yùn)算順序。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)多分支運(yùn)算層運(yùn)算所需內(nèi)存空間大小，確定所述多分支運(yùn)算層的目標(biāo)運(yùn)算順序包括：

確定所述多分支運(yùn)算層的多個(gè)運(yùn)算順序；

根據(jù)所述多個(gè)運(yùn)算順序中對應(yīng)占用內(nèi)存空間大小，確定占用內(nèi)存空間最小的運(yùn)算順序?yàn)槟繕?biāo)運(yùn)算順序。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述確定所述多分支運(yùn)算層的多個(gè)運(yùn)算順序包括：

根據(jù)深度優(yōu)先原則，確定所述多分支運(yùn)算層的多種運(yùn)算順序；或，

根據(jù)廣度優(yōu)先原則，確定所述多分支運(yùn)算層的多種運(yùn)算順序。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述確定按照所述目標(biāo)運(yùn)算順序執(zhí)行所述多分支運(yùn)算層的各分支運(yùn)算結(jié)果連續(xù)存儲(chǔ)的目標(biāo)內(nèi)存分配方案包括：

根據(jù)所述目標(biāo)運(yùn)算順序執(zhí)行所述多分支運(yùn)算層，確定所述多分支運(yùn)算層中每個(gè)分支的運(yùn)算結(jié)果；

根據(jù)所述目標(biāo)運(yùn)算順序及所述每個(gè)分支的運(yùn)算結(jié)果的內(nèi)存空間大小，確定所述目標(biāo)內(nèi)存分配方案。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中，所述方法還包括：

執(zhí)行當(dāng)前運(yùn)算層后，判斷所述當(dāng)前運(yùn)算層的輸入信息是否還需要作為后續(xù)運(yùn)算層的輸入信息；

若否，釋放所述當(dāng)前運(yùn)算層的輸入信息的內(nèi)存空間。

7.一種有效加速深度學(xué)習(xí)計(jì)算的內(nèi)存管理系統(tǒng)，其中，所述系統(tǒng)至少包括：

決策器，其用于基于深度學(xué)習(xí)計(jì)算網(wǎng)絡(luò)中包括的多分支運(yùn)算層信息制定對應(yīng)的內(nèi)存管理決策，其中，所述決策器被配置為：

根據(jù)多分支運(yùn)算層運(yùn)算所需內(nèi)存空間大小，確定所述多分支運(yùn)算層的目標(biāo)運(yùn)算順序；

確定按照所述目標(biāo)運(yùn)算順序執(zhí)行所述多分支運(yùn)算層的各分支運(yùn)算結(jié)果對應(yīng)的目標(biāo)內(nèi)存分配方案；

內(nèi)存分配器，其用于基于所述決策器制定的內(nèi)存管理決策，將所述深度學(xué)習(xí)計(jì)算網(wǎng)絡(luò)中多分支運(yùn)算層運(yùn)算時(shí)的內(nèi)存空間進(jìn)行分配管理，其中，所述內(nèi)存分配器被配置為：

根據(jù)所述目標(biāo)內(nèi)存分配方案及所述目標(biāo)運(yùn)算順序，確定執(zhí)行所述多分支運(yùn)算層的內(nèi)存分配方案，具體包括：

m根據(jù)所述目標(biāo)運(yùn)算順序逐層為每個(gè)分支運(yùn)算層的輸入信息及輸出結(jié)果分配內(nèi)存空間；

n根據(jù)所述內(nèi)存空間分配結(jié)果，確定所述多分支運(yùn)算層的內(nèi)存分配方案；

其中，所述m包括：

判斷下一運(yùn)算層的輸出結(jié)果是否為對應(yīng)所在分支的運(yùn)算結(jié)果；

若是，在為當(dāng)前執(zhí)行運(yùn)算層輸入信息及輸出結(jié)果分配內(nèi)存空間時(shí)，預(yù)留所述分支運(yùn)算結(jié)果對應(yīng)的內(nèi)存空間；及，

優(yōu)先將所述內(nèi)存空間頂部/底部兩端的存儲(chǔ)空間分配給運(yùn)算層的輸入信息及輸出結(jié)果。