[發明專利]一種有效加速深度學習計算的內存分配方法及系統

有效

• 申請號: 202110028503.X
• 申請日: 2021-01-11
• 公開（公告）號: CN112346877B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 李國亮;張磊;楊勤富;錢軍
• 申請（專利權）人: 瀚博半導體（上海）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 上海市金茂律師事務所 31299
• 代理人: 王翠平;彭世明

本申請提供一種有效加速深度學習的內存分配方法及系統，所述的方法及系統可以根據多分支運算層運算所需內存空間大小，確定所述多分支運算層的目標運算順序；確定按照所述目標運算順序執行所述多分支運算層的各分支運算結果連續存儲的目標內存分配方案；根據所述目標內存分配方案及所述目標運算順序，確定執行所述多分支運算層的內存分配方案。從而在執行多分支運算時，可以選擇運算過程中占用內存空間最小的運算順序作為目標運算順序，根據所述多分支運算層各分支結果連續存儲的目標內存方案，對所述多分支逐層進行內存分配設置，確保各分支運算結果連續存儲在內存空間中，從而降低了占用內存空間大小，提高了整個神經網絡的運算效率。

技術領域

本申請涉及深度學習系統優化領域，尤其涉及一種基于多分支調度、分配的有效加速深度學習計算的內存分配方法及系統。

背景技術

近幾年來，人工智能研究十分熱門，深度學習是其中的一種核心技術，其基本模型是深度神經網絡。隨著深度學習研究的日趨深入，人工神經網絡的層數不斷增加，從AlexNet的8層，到VGG的19層和GoogLeNet的22層，甚至ResNet更是深達152層，同時，神經網絡中也逐漸出現更多的多分支網絡，更廣，更加復雜化。更深、更廣的網絡意味著訓練網絡模型需要用到更大的內存。

由于總體上更深更廣的網絡對深度學習的精度提高有顯著的作用，深度神經網絡有朝著更深更廣的方向發展，其面臨的一個問題便是內存的不足。一般計算機的內存大小非常有限，因此如何利用有限的內存構建更深更廣的網絡便成為一個迫切的問題。

發明內容

本申請的一個目的是提供一種有效加速深度學習計算的內存分配方法，所述深度學習計算網絡包括多分支運算層，其中，該方法包括：

根據多分支運算層運算所需內存空間大小，確定所述多分支運算層的目標運算順序；

確定按照所述目標運算順序執行所述多分支運算層的各分支運算結果連續存儲的目標內存分配方案；

根據所述目標內存分配方案及所述目標運算順序，確定執行所述多分支運算層的內存分配方案。

與現有技術相比，本申請所述的方法及系統可以根據多分支運算層運算所需內存空間大小，確定所述多分支運算層的目標運算順序；確定按照所述目標運算順序執行所述多分支運算層的各分支運算結果連續存儲的目標內存分配方案；根據所述目標內存分配方案及所述目標運算順序，確定執行所述多分支運算層的內存分配方案。從而在執行多分支運算時，可以選擇運算過程中占用內存空間最小的運算順序作為目標運算順序，并確定根據目標順序執行所述多分支運算過程中的目標內存分配方案，以確保執行所述多分支運算過程中占用最少的內存空間，同時，根據所述多分支運算層各分支結果連續存儲的目標內存方案，對多分支運算層運算過程中的數據存儲方式及位置進行設置，確保各分支運算結果連續存儲在內存空間中，從而降低了占用內存空間大小，提高了整個神經網絡的運算效率。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯：

圖1是根據本申請一個實施例的有效加速深度學習計算的內存分配方法流程圖；

圖2是根據本申請一個實施例的一種深度學習計算網絡的運算層示意圖；

圖3是上述圖2中多分支深度學習計算網絡對應的有向圖；

圖4為執行圖2中多分支深度學習計算網絡的目標運算順序時的輸入/輸出內存大小信息表；

圖5示出圖2中多分支深度學習計算網絡按照目標運算順序運算時各分支運算結果內存大小信息表；

圖6為執行圖2中多分支深度學習計算網絡的目標運算順序時的輸入/輸出內存分配示意圖。

附圖中相同或相似的附圖標記代表相同或相似的部件。

具體實施方式