[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法及裝置

有效

• 申請?zhí)枺?/td>: 202011535579.3
• 申請日: 2020-12-23
• 公開（公告）號: CN112256441B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設(shè)計）人: 梁軍
• 申請（專利權(quán)）人: 上海齊感電子信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/02;G06N5/04
• 代理公司: 上海浦一知識產(chǎn)權(quán)代理有限公司 31211
• 代理人: 焦天雷

1.一種神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，在為神經(jīng)網(wǎng)絡(luò)推理中各層的FM分配內(nèi)存空間的過程中，從該神經(jīng)網(wǎng)絡(luò)推理的最后輸出層開始分配內(nèi)存，向輸入層方向為各層分配內(nèi)存，直至完成對所有輸入層的內(nèi)存分配，所述FM是特征圖，IFM是輸入特征圖， OFM是輸出特征圖，包括：

對內(nèi)存管理模型進行初始化；

獲得該神經(jīng)網(wǎng)絡(luò)推理中所有的最后輸出層，其中，所述最后輸出層是，不作為其它層的IFM的OFM；

在內(nèi)存分配空間的初始位置的一側(cè)為該神經(jīng)網(wǎng)絡(luò)推理中的所有最后輸出層分配內(nèi)存空間；

獲得該神經(jīng)網(wǎng)絡(luò)推理中當(dāng)前已分配內(nèi)存空間的層的IFM層；

為當(dāng)前已分配內(nèi)存空間的層的各個IFM層分配內(nèi)存空間；在此過程中，當(dāng)某個當(dāng)前已分配內(nèi)存空間的層的所有IFM層都已被分配空間之后，回收當(dāng)前已分配內(nèi)存空間的層的內(nèi)存空間，當(dāng)某個當(dāng)前已分配內(nèi)存空間的層的某個IFM層被分配的內(nèi)存空間位于初始位置的某一側(cè)能夠使得當(dāng)前已分配內(nèi)存空間的層的內(nèi)存空間被回收時，將該IFM層分配到初始位置的該側(cè)；

重復(fù)上述獲得該神經(jīng)網(wǎng)絡(luò)推理中當(dāng)前已分配內(nèi)存空間的層的IFM層、以及為當(dāng)前已分配內(nèi)存空間的層的各個IFM層分配內(nèi)存空間的步驟，直至該神經(jīng)網(wǎng)絡(luò)推理中的全部層均已被分配內(nèi)存空間。

2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，所述對內(nèi)存管理模型進行初始化包括：設(shè)置min_l_boundary=-1、max_r_boundary=0、lstack為空、rstack為空，其中，min_l_boundary表示左側(cè)邊界，max_r_boundary表示右側(cè)邊界，lstack表示初始位置左側(cè)邊界內(nèi)的內(nèi)存空間，rstack表示初始位置右側(cè)邊界內(nèi)的內(nèi)存空間。

3.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，在內(nèi)存分配空間的初始位置的一側(cè)為該神經(jīng)網(wǎng)絡(luò)推理中的所有最后輸出層分配內(nèi)存空間包括：

將該神經(jīng)網(wǎng)絡(luò)推理中的所有最后輸出層按照ID進行排序；

在初始位置的右側(cè)，按照各個最后輸出層的ID從小到大依次為該神經(jīng)網(wǎng)絡(luò)推理中的各個最后輸出層分配內(nèi)存空間。

4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，所述為當(dāng)前已分配內(nèi)存空間的層的各個IFM層分配內(nèi)存空間包括：

將初始位置左側(cè)的內(nèi)存空間中當(dāng)前最后一個被分配內(nèi)存空間的層的ID，與初始位置右側(cè)的內(nèi)存空間中當(dāng)前最后一個被分配內(nèi)存空間的層的ID進行比較，為其中ID較大的層的所有IFM層分配內(nèi)存空間。

5.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，所述直至該神經(jīng)網(wǎng)絡(luò)推理中的全部層均已被分配內(nèi)存空間包括：判斷初始位置左側(cè)的內(nèi)存空間和初始位置右側(cè)的內(nèi)存空間是否都已回收，如果是，則該神經(jīng)網(wǎng)絡(luò)推理中的全部層均已被分配內(nèi)存空間。

6.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，當(dāng)某一層被分配到初始位置的左側(cè)和右側(cè)所能回收的內(nèi)存空間大小不同、且該層的生命周期為1時，將該層分配到所能回收的內(nèi)存空間較大的一側(cè)。

7.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，當(dāng)初始位置左側(cè)已分配的內(nèi)存空間超過左側(cè)邊界時，將左側(cè)邊界更新為當(dāng)前初始位置左側(cè)已分配的內(nèi)存空間，當(dāng)初始位置右側(cè)已分配的內(nèi)存空間超過右側(cè)邊界時，將右側(cè)邊界更新為當(dāng)前初始位置右側(cè)已分配的內(nèi)存空間。

8.如權(quán)利要求7所述的神經(jīng)網(wǎng)絡(luò)推理的內(nèi)存分配方法，其特征在于，在所述為當(dāng)前已分配內(nèi)存空間的層的各個IFM層分配內(nèi)存空間的過程中，當(dāng)某個層被分配到初始位置的左右兩側(cè)所導(dǎo)致的左側(cè)邊界或右側(cè)邊界的擴展大小不同時，將該層分配到導(dǎo)致左側(cè)邊界或右側(cè)邊界的擴展大小較小的一側(cè)。