[發(fā)明專利]神經網絡推理的內存分配方法及裝置

有效

• 申請?zhí)枺?/td>: 202011535579.3
• 申請日: 2020-12-23
• 公開（公告）號: CN112256441B
• 公開（公告）日: 2021-05-04
• 發(fā)明（設計）人: 梁軍
• 申請（專利權）人: 上海齊感電子信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/02;G06N5/04
• 代理公司: 上海浦一知識產權代理有限公司 31211
• 代理人: 焦天雷

神經網絡推理的內存分配方法及裝置，其從神經網絡推理的最后輸出層開始分配內存，直至完成對所有輸入層的內存分配，包括：在初始位置的一側為該神經網絡推理中的所有最后輸出層分配內存空間；獲得該神經網絡推理中當前已分配內存空間的層的IFM層；為當前已分配內存空間的層的各個IFM層分配內存空間；在此過程中，當某個當前已分配內存空間的層的所有IFM層都已被分配空間之后，回收當前已分配內存空間的層的內存空間，當某個層的某個IFM層被分配的內存空間位于初始位置的某一側能夠使得當前已分配內存空間的層的內存空間被回收時，將該IFM層分配到初始位置的該側。本發(fā)明降低神經網絡推理的內存占用，提高內存的復用率，內存規(guī)劃更加合理。

技術領域

本發(fā)明涉及人工智能技術領域，特別是涉及一種神經網絡推理的內存分配方法及裝置。

背景技術

得益于深度神經網絡的高效性和準確性，尤其在檢測、識別分類等任務中表現優(yōu)異，近幾年，深度神經網絡在生活中的應用不斷擴展和發(fā)散。由此，各類嵌入式神經網絡處理器（NPU）應運而生。

但是，深度神經網絡通常會占用大量的內存，這就提高了對硬件的要求，也會直接導致硬件的生產成本提高。因此，如何降低深度神經網絡的內存占用是目前亟需解決的問題，能夠大幅降低深度神經網絡對硬件的要求，并節(jié)約成本。

現有的神經網絡推理都是假設神經網絡的輸入、輸出以及中間層的數據都不會相互干擾，并沒有針對性的內存分配和優(yōu)化，而是直接交給操作系統來做。那么在此情況下，神經網絡的輸入、輸出及中間層的輸入、輸出所需要占用的內存大小與平鋪的方式所需要占用的內存大小一樣。

上述方式占用的內存過于巨大，尤其是對于邊緣計算設備而言，在此情況下，對于中間層數據比較大的神經網絡（比如vgg19），甚至不能在邊緣計算設備的處理器上運行。

相關術語解釋

FM（Feature Map），特征圖；

IFM（Input Feature Map），輸入特征圖；

OFM（Output Feature Map），輸出特征圖。

發(fā)明內容

本發(fā)明解決的技術問題是：如何降低神經網絡推理的內存占用，以適應邊緣計算設備。

為了解決上述技術問題，本發(fā)明實施例提供一種神經網絡推理的內存分配方法，在為神經網絡推理中各層的FM分配內存空間的過程中，從該神經網絡推理的最后輸出層開始分配內存，向輸入層方向為各層分配內存，直至完成對所有輸入層的內存分配，包括：

對內存管理模型進行初始化；

獲得該神經網絡推理中所有的最后輸出層，其中，所述最后輸出層是，不作為其它層的IFM的OFM；

在初始位置的一側為該神經網絡推理中的所有最后輸出層分配內存空間；

獲得該神經網絡推理中當前已分配內存空間的層的IFM層；

為當前已分配內存空間的層的各個IFM層分配內存空間；在此過程中，當某個當前已分配內存空間的層的所有IFM層都已被分配空間之后，回收當前已分配內存空間的層的內存空間，當某個層的某個IFM層被分配的內存空間位于初始位置的某一側能夠使得當前已分配內存空間的層的內存空間被回收時，將該IFM層分配到初始位置的該側；

重復上述獲得該神經網絡推理中當前已分配內存空間的層的IFM層、以及為當前已分配內存空間的層的各個IFM層分配內存空間的步驟，直至該神經網絡推理中的全部層均已被分配內存空間，直至該神經網絡推理中的全部層均已被分配內存空間。