[發明專利]一種神經網絡的內存分配方法及裝置

有效

• 申請號: 201810607693.9
• 申請日: 2018-06-13
• 公開（公告）號: CN110597616B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 黃莉華;丁皓;范翱翔
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/063
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 馮艷蓮

1.一種神經網絡的內存分配方法，其特征在于，所述神經網絡在運行時，需占用N個內存塊，所述N為大于等于1的整數，所述方法包括：

確定所述N個內存塊的信息，所述N個內存塊的信息包括所述N個內存塊的大小和所述N個內存塊中每個內存塊一一對應的節點集合，所述每個內存塊用于進行所述神經網絡中與所述每個內存塊一一對應的節點集合的運算；

根據所述N個內存塊的大小，對所述N個內存塊進行由大到小排序，獲得所述N個內存塊的排序序列；

分配第一內存塊給所述神經網絡，用于進行所述神經網絡中第一節點集合的運算，其中，所述第一內存塊為所述N個內存塊中大小最大的內存塊；

判斷第n內存塊是否可復用已分配集合中的內存塊，所述已分配集合中包括已經分配給所述神經網絡的內存塊，如果所述第n內存塊可復用所述已分配集合中的內存塊，則將所述可復用的內存塊分配給所述神經網絡，用于進行所述神經網絡中第n節點集合的運算，并更新所述已分配集合，其中，所述n為大于或等于2，小于或等于N的正整數；

根據所述排序序列，從n＝2到n＝N依次執行上述判斷，若判斷為是，則更新所述已分配集合；

其中，所述判斷第n內存塊是否可復用已分配集合中的內存塊，包括：

判斷所述第n節點集合與第x節點集合之間的交集是否為0，若為0，則判斷所述第n內存塊可復用所述第x節點集合對應的第x內存塊，其中，所述已分配集合包括所述第x內存塊，所述第x內存塊用于進行所述神經網絡中所述第x節點集合的運算，x為小于n的正整數。

2.如權利要求1所述的方法，其特征在于，所述方法還包括：

如果所述第n內存塊不可復用所述已分配集合中的內存塊，則分配所述第n內存塊給所述神經網絡，用于進行所述神經網絡中所述第n節點集合的運算。

3.如權利要求1或2項所述的方法，其特征在于，所述更新所述已分配集合，包括：

根據所述第n節點集合，更新所述可復用的內存塊所對應的節點集合。

4.如權利要求1至3任一項所述的方法，其特征在于，所述確定所述N個內存塊的信息，包括：

運行所述神經網絡；

記錄所述神經網絡中每個節點的輸入參數所占用內存塊的信息和所述每個節點的輸出參數所占用內存塊的信息，以及所述每個節點的中間參數所占用內存塊的信息；

根據所述神經網絡中每個節點的輸入參數所占用內存塊的信息、輸出參數所占用內存塊的信息以及中間參數所占用內存塊的信息，確定所述N個內存塊的信息。

5.一種神經網絡的內存分配裝置，其特征在于，所述神經網絡在運行時，需占用N個內存塊，所述N為大于等于1的整數，所述裝置包括：

確定單元，用于確定所述N個內存塊的信息，所述N個內存塊的信息包括所述N個內存塊的大小和所述N個內存塊中每個內存塊一一對應的節點集合，所述每個內存塊用于進行所述神經網絡中與所述每個內存塊一一對應的節點集合的運算；

排序單元，用于根據所述N個內存塊的大小，對所述N個內存塊進行由大到小排序，獲得所述N個內存塊的排序序列；

第一分配單元，用于分配第一內存塊給所述神經網絡，用于進行所述神經網絡中第一節點集合的運算，其中，所述第一內存塊為所述N個內存塊中大小最大的內存塊；

判斷單元，用于判斷第n內存塊是否可復用已分配集合中的內存塊，所述已分配集合中包括已經分配給所述神經網絡的內存塊；

第二分配單元，用于在所述第n內存塊可復用所述已分配集合中的內存塊時，將所述可復用的內存塊分配給所述神經網絡，用于進行所述神經網絡中第n節點集合的運算，并更新所述已分配集合，其中，所述n為大于或等于2，小于或等于N的正整數；根據所述排序序列，從n＝2到n＝N依次執行上述判斷，若判斷為是，則更新所述已分配集合；

其中，所述判斷單元，具體用于：

判斷所述第n節點集合與第x節點集合之間的交集是否為0，若為0，則判斷所述第n內存塊可復用所述第x節點集合對應的第x內存塊，其中，所述已分配集合包括所述第x內存塊，所述第x內存塊用于進行所述神經網絡中所述第x節點集合的運算，x為小于n的正整數。