[發(fā)明專利]一種內(nèi)存管理方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210446431.5
• 申請日: 2022-04-26
• 公開（公告）號(hào): CN114816752A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 何也
• 申請（專利權(quán)）人: 山東云海國創(chuàng)云計(jì)算裝備產(chǎn)業(yè)創(chuàng)新中心有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 呂鑫

本申請公開了一種內(nèi)存管理方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；基于各個(gè)目標(biāo)計(jì)算設(shè)備對目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中算子的運(yùn)算支持，將目標(biāo)神經(jīng)網(wǎng)絡(luò)模型剖分為與各個(gè)目標(biāo)計(jì)算設(shè)備對應(yīng)的子函數(shù)；分發(fā)子函數(shù)至對應(yīng)的目標(biāo)計(jì)算設(shè)備；對于每個(gè)目標(biāo)計(jì)算設(shè)備，均基于目標(biāo)計(jì)算設(shè)備中各個(gè)計(jì)算單元的運(yùn)算信息，將對應(yīng)的子函數(shù)剖分為與各個(gè)計(jì)算單元對應(yīng)的執(zhí)行單元，以執(zhí)行單元為粒度對目標(biāo)計(jì)算設(shè)備進(jìn)行內(nèi)存管理。使得各個(gè)目標(biāo)計(jì)算設(shè)備所需運(yùn)算的子函數(shù)與自身的運(yùn)算性能相符合，且以執(zhí)行單元為粒度對目標(biāo)計(jì)算設(shè)備進(jìn)行內(nèi)存管理，實(shí)現(xiàn)了對計(jì)算設(shè)備內(nèi)存的準(zhǔn)確管理。本申請?zhí)峁┑膬?nèi)存管理系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)也解決了相應(yīng)技術(shù)問題。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地說，涉及一種內(nèi)存管理方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在神經(jīng)網(wǎng)絡(luò)模型的使用過程中，需要借助具有計(jì)算能力的計(jì)算設(shè)備來運(yùn)行神經(jīng)網(wǎng)絡(luò)模型中的相應(yīng)計(jì)算，因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型中算子的輸入輸出會(huì)占據(jù)一定的存儲(chǔ)空間，而計(jì)算設(shè)備的內(nèi)存空間有限，如果內(nèi)存分配不合理的話，會(huì)使得神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算速度降低，所以為了提高神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算速度，需對計(jì)算設(shè)備的內(nèi)存進(jìn)行準(zhǔn)確管理。

綜上所述，如何對計(jì)算設(shè)備的內(nèi)存進(jìn)行準(zhǔn)確管理是目前本領(lǐng)域技術(shù)人員亟待解決的問題。

發(fā)明內(nèi)容

本申請的目的是提供一種內(nèi)存管理方法，其能在一定程度上解決如何對計(jì)算設(shè)備的內(nèi)存進(jìn)行準(zhǔn)確管理的技術(shù)問題。本申請還提供了一種內(nèi)存管理系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

為了實(shí)現(xiàn)上述目的，本申請?zhí)峁┤缦录夹g(shù)方案：

一種內(nèi)存管理方法，包括：

獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)模型；

基于各個(gè)目標(biāo)計(jì)算設(shè)備對所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型中算子的運(yùn)算支持，將所述目標(biāo)神經(jīng)網(wǎng)絡(luò)模型剖分為與各個(gè)所述目標(biāo)計(jì)算設(shè)備對應(yīng)的子函數(shù)；

分發(fā)所述子函數(shù)至對應(yīng)的所述目標(biāo)計(jì)算設(shè)備；

對于每個(gè)所述目標(biāo)計(jì)算設(shè)備，均基于所述目標(biāo)計(jì)算設(shè)備中各個(gè)計(jì)算單元的運(yùn)算信息，將對應(yīng)的子函數(shù)剖分為與各個(gè)所述計(jì)算單元對應(yīng)的執(zhí)行單元，以所述執(zhí)行單元為粒度對所述目標(biāo)計(jì)算設(shè)備進(jìn)行內(nèi)存管理。

優(yōu)選的，所述以所述執(zhí)行單元為粒度對所述目標(biāo)計(jì)算設(shè)備進(jìn)行內(nèi)存管理，包括：

將所述目標(biāo)計(jì)算設(shè)備的內(nèi)存劃分為目標(biāo)內(nèi)存及預(yù)留內(nèi)存；

確定所述執(zhí)行單元在所述目標(biāo)內(nèi)存中的內(nèi)存占用信息；

基于所述內(nèi)存占用信息對所述目標(biāo)計(jì)算設(shè)備的內(nèi)存進(jìn)行管理。

優(yōu)選的，所述確定所述執(zhí)行單元在所述目標(biāo)內(nèi)存中的內(nèi)存占用信息，包括：

將所述目標(biāo)內(nèi)存劃分為與各個(gè)所述執(zhí)行單元對應(yīng)的內(nèi)存塊；

將所述執(zhí)行單元與所述內(nèi)存塊間的對應(yīng)關(guān)系作為所述內(nèi)存占用信息。

優(yōu)選的，所述將所述目標(biāo)內(nèi)存劃分為與各個(gè)所述執(zhí)行單元對應(yīng)的內(nèi)存塊，包括：

基于內(nèi)存復(fù)用原則，將所述目標(biāo)內(nèi)存劃分為與各個(gè)所述執(zhí)行單元對應(yīng)的內(nèi)存塊。

優(yōu)選的，所述基于所述內(nèi)存占用信息對所述目標(biāo)計(jì)算設(shè)備的內(nèi)存進(jìn)行管理，包括：

統(tǒng)計(jì)各個(gè)所述執(zhí)行單元在所述子函數(shù)中的出現(xiàn)次數(shù)，將所述出現(xiàn)次數(shù)作為所述執(zhí)行單元對應(yīng)的所述內(nèi)存塊的使用次數(shù)，并且若所述執(zhí)行單元在所述目標(biāo)計(jì)算設(shè)備中出現(xiàn)一次，則將所述使用次數(shù)的值減1；

對于每個(gè)所述執(zhí)行單元，判斷對應(yīng)的所述內(nèi)存塊的所述使用次數(shù)的值是否為0；

若所述使用次數(shù)的值為0，則允許對所述執(zhí)行單元對應(yīng)的所述內(nèi)存塊進(jìn)行復(fù)用；