[發(fā)明專利]應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法、裝置及設備

在審

• 申請?zhí)枺?/td>: 202111518556.6
• 申請日: 2021-12-13
• 公開（公告）號: CN116339959A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 請求不公布姓名
• 申請（專利權(quán)）人: 寒武紀（昆山）信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 宋興;臧建明

本申請?zhí)峁┮环N應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法、裝置及設備，該設備包括：存儲器和處理器；其中存儲器用于存儲處理器可執(zhí)行指令，處理器用于調(diào)用存儲器中的程序指令執(zhí)行應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法。本申請?zhí)峁┑膽糜谏窠?jīng)網(wǎng)絡的內(nèi)存申請方法、裝置及設備，優(yōu)化了內(nèi)存碎片，有效避免了內(nèi)存空間的浪費。

技術(shù)領域

本申請涉及神經(jīng)網(wǎng)絡技術(shù)領域，尤其涉及一種應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法、裝置及設備。

背景技術(shù)

神經(jīng)網(wǎng)絡是一種通過調(diào)整系統(tǒng)內(nèi)部大量節(jié)點之間相互連接的關(guān)系，而實現(xiàn)信息處理的數(shù)學模型。神經(jīng)網(wǎng)絡在訓練或推理計算的過程中，需要申請大量的內(nèi)存以存放運行數(shù)據(jù)。

目前，常見的內(nèi)存申請方法為，當目標任務當前運行需要內(nèi)存時，則向內(nèi)存管理器發(fā)送內(nèi)存申請指令，以使內(nèi)存管理器為目標任務分配當前所需內(nèi)存，并使用內(nèi)存緩存機制將申請到的內(nèi)存保留下來，以在目標任務本次運行過程中反復使用。

但是，隨著目標任務的運行，目標任務會不斷產(chǎn)生新的內(nèi)存需求，當目標任務產(chǎn)生的新的內(nèi)存需求大小，大于內(nèi)存緩存機制保留下來的內(nèi)存中未被使用的內(nèi)存大小時，目標任務會重新向內(nèi)存管理器申請新的內(nèi)存，也就是說，此前內(nèi)存緩存機制保留下來的內(nèi)存中未被使用的內(nèi)存則無法被利用，從而形成內(nèi)存碎片，造成內(nèi)存空間的浪費。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法、裝置及設備，用以優(yōu)化內(nèi)存碎片，避免內(nèi)存空間的浪費。

第一方面，本申請實施例提供一種應用于神經(jīng)網(wǎng)絡的內(nèi)存申請方法，包括：

接收目標任務發(fā)送的第一內(nèi)存申請請求；其中，所述第一內(nèi)存申請請求包括目標任務當前運行所需的內(nèi)存大小；

根據(jù)所述目標任務當前運行所需的內(nèi)存大小，判斷所述目標任務的內(nèi)存需求等級；其中，所述內(nèi)存需求等級包括低級、中級以及高級；

根據(jù)所述目標任務的內(nèi)存需求等級，確定待申請的內(nèi)存大小；其中，不同的內(nèi)存需求等級對應不同的待申請的內(nèi)存大小；

向內(nèi)存管理器發(fā)送第二內(nèi)存申請請求，以使所述內(nèi)存管理器為所述目標任務分配與所述待申請的內(nèi)存大小相一致的內(nèi)存；其中，所述第二內(nèi)存申請請求包括待申請的內(nèi)存大小。

第二方面，本申請實施例提供一種應用于神經(jīng)網(wǎng)絡的內(nèi)存申請裝置，包括：

接收模塊，用于接收目標任務發(fā)送的第一內(nèi)存申請請求；其中，所述第一內(nèi)存申請請求包括目標任務當前運行所需的內(nèi)存大小；

判斷模塊，用于根據(jù)所述目標任務當前運行所需的內(nèi)存大小，判斷所述目標任務的內(nèi)存需求等級；其中，所述內(nèi)存需求等級包括低級、中級以及高級；

確定模塊，用于根據(jù)所述目標任務的內(nèi)存需求等級，確定待申請的內(nèi)存大小；其中，不同的內(nèi)存需求等級對應不同的待申請的內(nèi)存大小；

發(fā)送模塊，用于向內(nèi)存管理器發(fā)送第二內(nèi)存申請請求，以使所述內(nèi)存管理器為所述目標任務分配與所述待申請的內(nèi)存大小相一致的內(nèi)存；其中，所述第二內(nèi)存申請請求包括待申請的內(nèi)存大小。

第三方面，本申請實施例提供一種處理器，以及與所述處理器通信連接的存儲器；

所述存儲器存儲計算機執(zhí)行指令；

所述處理器執(zhí)行所述存儲器存儲的計算機執(zhí)行指令，以實現(xiàn)如第一方面所述的方法。

第四方面，本申請實施例提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，所述計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)如第一方面所述的方法。

第五方面，本申請實施例提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的方法。