[發明專利]神經網絡推理的內存分配方法及裝置

有效

• 申請號: 202011535579.3
• 申請日: 2020-12-23
• 公開（公告）號: CN112256441B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 梁軍
• 申請（專利權）人: 上海齊感電子信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/02;G06N5/04
• 代理公司: 上海浦一知識產權代理有限公司 31211
• 代理人: 焦天雷

1.一種神經網絡推理的內存分配方法，其特征在于，在為神經網絡推理中各層的FM分配內存空間的過程中，從該神經網絡推理的最后輸出層開始分配內存，向輸入層方向為各層分配內存，直至完成對所有輸入層的內存分配，所述FM是特征圖，IFM是輸入特征圖， OFM是輸出特征圖，包括：

對內存管理模型進行初始化；

獲得該神經網絡推理中所有的最后輸出層，其中，所述最后輸出層是，不作為其它層的IFM的OFM；

在內存分配空間的初始位置的一側為該神經網絡推理中的所有最后輸出層分配內存空間；

獲得該神經網絡推理中當前已分配內存空間的層的IFM層；

為當前已分配內存空間的層的各個IFM層分配內存空間；在此過程中，當某個當前已分配內存空間的層的所有IFM層都已被分配空間之后，回收當前已分配內存空間的層的內存空間，當某個當前已分配內存空間的層的某個IFM層被分配的內存空間位于初始位置的某一側能夠使得當前已分配內存空間的層的內存空間被回收時，將該IFM層分配到初始位置的該側；

重復上述獲得該神經網絡推理中當前已分配內存空間的層的IFM層、以及為當前已分配內存空間的層的各個IFM層分配內存空間的步驟，直至該神經網絡推理中的全部層均已被分配內存空間。

2.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，所述對內存管理模型進行初始化包括：設置min_l_boundary=-1、max_r_boundary=0、lstack為空、rstack為空，其中，min_l_boundary表示左側邊界，max_r_boundary表示右側邊界，lstack表示初始位置左側邊界內的內存空間，rstack表示初始位置右側邊界內的內存空間。

3.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，在內存分配空間的初始位置的一側為該神經網絡推理中的所有最后輸出層分配內存空間包括：

將該神經網絡推理中的所有最后輸出層按照ID進行排序；

在初始位置的右側，按照各個最后輸出層的ID從小到大依次為該神經網絡推理中的各個最后輸出層分配內存空間。

4.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，所述為當前已分配內存空間的層的各個IFM層分配內存空間包括：

將初始位置左側的內存空間中當前最后一個被分配內存空間的層的ID，與初始位置右側的內存空間中當前最后一個被分配內存空間的層的ID進行比較，為其中ID較大的層的所有IFM層分配內存空間。

5.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，所述直至該神經網絡推理中的全部層均已被分配內存空間包括：判斷初始位置左側的內存空間和初始位置右側的內存空間是否都已回收，如果是，則該神經網絡推理中的全部層均已被分配內存空間。

6.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，當某一層被分配到初始位置的左側和右側所能回收的內存空間大小不同、且該層的生命周期為1時，將該層分配到所能回收的內存空間較大的一側。

7.如權利要求1所述的神經網絡推理的內存分配方法，其特征在于，當初始位置左側已分配的內存空間超過左側邊界時，將左側邊界更新為當前初始位置左側已分配的內存空間，當初始位置右側已分配的內存空間超過右側邊界時，將右側邊界更新為當前初始位置右側已分配的內存空間。

8.如權利要求7所述的神經網絡推理的內存分配方法，其特征在于，在所述為當前已分配內存空間的層的各個IFM層分配內存空間的過程中，當某個層被分配到初始位置的左右兩側所導致的左側邊界或右側邊界的擴展大小不同時，將該層分配到導致左側邊界或右側邊界的擴展大小較小的一側。