[發明專利]神經網絡的內存分配方法及裝置

在審

• 申請號: 202011010035.5
• 申請日: 2020-09-23
• 公開（公告）號: CN112084037A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/063
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

本申請實施例提供了一種神經網絡的內存分配方法及裝置，該方法包括：獲取所述神經網絡對應的原始計算圖，所述原始計算圖包括多個操作神經元和所述操作神經元對應的數據神經元；基于所述操作神經元的深度優先序列，計算所述原始計算圖中所有數據神經元的存儲周期；基于所述數據神經元的存儲周期，分配第i個內存區域給第一數據神經元，所述第i個內存區域的內存大小大于或等于所述第一數據神經元占用的內存大小，所述第一數據神經元為所述原始計算圖中的任一數據神經元，所述i小于或等于n。本申請在神經網絡包括一個計算核心的情況下，基于數據神經元的存儲周期進行內存分配，提高了內存復用率。

技術領域

本申請涉及深度學習技術領域，尤其涉及一種神經網絡的內存分配方法及裝置。

背景技術

目前深度學習框架主要使用計算圖來表達深度學習模型的計算，其神經元根據功能可分為數據神經元和操作神經元，數據神經元與操作神經元之間的連接關系對應數據流向，以此構成一個有向無環圖，從而來指定計算任務執行依賴關系，因此，計算圖在數據流計算和流數據處理中得到廣泛應用。計算圖中的數據流向是可控的，可以根據計算圖靜態計算出計算的執行順序。當計算圖里存在多個分支并且能夠使用的計算內核只有一個時，那么多個分支的計算神經元的順序排布就顯得尤為重要。通常神經網絡是根據計算圖的拓撲順序依次執行計算神經元的操作，只有在指向該操作的所有操作都完成后，該操作才可以執行。但是，當計算規模增大，多個分支都得同時占用內存大小來執行計算，需要占用大量的內存，對于內存資源受限的計算設備，可能無法滿足神經網絡的內存需求。

申請內容

本申請實施例提供了一種神經網絡的內存分配方法及裝置，能夠有效地提高內存使用率、提高計算效率。

第一方面，本申請實施例提供一種神經網絡的內存分配方法，應用于單核處理器，所述單核處理器包括n個內存區域，所述n為正整數，所述方法包括：

獲取所述神經網絡對應的原始計算圖，所述原始計算圖包括多個操作神經元和所述操作神經元對應的數據神經元；

基于所述操作神經元的深度優先序列，計算所述原始計算圖中所有數據神經元的存儲周期；

基于所述數據神經元的存儲周期，分配第i個內存區域給第一數據神經元，所述第i個內存區域的內存大小大于或等于所述第一數據神經元占用的內存大小，所述第一數據神經元為所述原始計算圖中的任一數據神經元，所述i小于或等于n。

第二方面，本申請實施例提供一種神經網絡的內存分配裝置，應用于單核處理器，所述單核處理器包括n個內存區域，所述n為正整數，所述裝置包括：

獲取單元，用于獲取所述神經網絡對應的原始計算圖，所述原始計算圖包括多個操作神經元和所述操作神經元對應的數據神經元；

計算單元，用于基于所述操作神經元的深度優先序列，計算所述原始計算圖中所有數據神經元的存儲周期；

分配單元，用于基于所述數據神經元的存儲周期，分配第i個內存區域給第一數據神經元，所述第i個內存區域的內存大小大于或等于所述第一數據神經元占用的內存大小，所述第一數據神經元為所述原始計算圖中的任一數據神經元，所述i小于或等于n。

第三方面，本申請實施例提供一種計算機設備，所述計算機設備包括存儲器、處理器、通信總線和通信接口，其中，所述處理器、通信接口存儲器通過通信總線完成相互間的通信；所述存儲器用于存放計算機程序；所述處理器用于執行所述存儲器上所存放的程序時，實現如上述第一方面所描述的部分或全部步驟。

第四方面，本申請實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質包括存儲用于數據交換的計算機程序，所述計算機程序被處理器執行時實現如本申請實施例第一方面所描述的部分或全部步驟。