[發明專利]存儲空間分配方法、終端設備及計算機可讀存儲介質

在審

• 申請號: 202111593326.6
• 申請日: 2021-12-23
• 公開（公告）號: CN114416605A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 文博;蔡萬偉
• 申請（專利權）人: 深圳云天勵飛技術股份有限公司;江蘇云天勵飛技術有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 左婷蘭

本申請適用于數據處理技術領域，提供了一種存儲空間分配方法、終端設備及計算機可讀存儲介質，所述方法包括：若神經網絡中存在與第一層組的第一輸出張量具有相同負載的第二層組的第二輸出張量、且所述第二層組的第二輸出張量已分配有第一存儲編號，則將所述第一存儲編號分配給所述第一層組的第一輸出張量；計算所述第一層組的第一輸出張量的第一數據量；根據所述第一數據量更新所述第一存儲編號對應存儲區域的大小。通過上述方法，可以在神經網絡的數據存儲過程中提高存儲空間的利用率。

技術領域

本申請屬于數據處理技術領域，尤其涉及一種存儲空間分配方法、終端設備及計算機可讀存儲介質。

背景技術

神經網絡處理器用于執行神經網絡模型的計算任務，與神經網絡處理器配套的編譯器用于對神經網絡模型進行編譯、以生成可以在神經網絡處理器上執行計算任務的機器碼。編譯器在編譯過程中，通常將神經網絡模型中多個連續的層融合為一個層組。層組之間的數據傳輸通過外部存儲空間實現，層組內各層之間的數據傳輸通過神經網絡處理器的內部存儲空間實現。因此，編譯器需要在外部存儲空間中為層組分配存儲區域。

現有技術中，編譯器在外部存儲空間中為不同層組分配不同的存儲區域。當層組的輸入端/輸出端的個數不確定時，層組之間的連接關系變得更為復雜，層組的不同輸出端的數據可能分別用于不同的網絡計算任務。此種情況下，若以層組為單位分配存儲空間，可能同一個存儲區域中存儲了多個輸出張量，導致存儲空間的使用不便。若為層組的每個輸出張量分配不同的存儲區域，將會增加外部存儲空間的數據傳輸壓力，降低存儲空間的利用率。

發明內容

本申請實施例提供了一種存儲空間分配方法、終端設備及計算機可讀存儲介質，可以在神經網絡的數據存儲過程中提高存儲空間的利用率。

第一方面，本申請實施例提供了一種存儲空間分配方法，應用于神經網絡，所述神經網絡中包括多個層組，每個層組中包括連續的至少一個層，每個層組有至少一個輸入端層組和至少一個輸出端層組，所述方法包括：

若所述神經網絡中存在與第一層組的第一輸出張量具有相同負載的第二層組的第二輸出張量、且所述第二層組的第二輸出張量已分配有第一存儲編號，則將所述第一存儲編號分配給所述第一層組的第一輸出張量，其中，所述第一輸出張量的負載為所述第一層組的輸出端層組的輸出張量，存儲編號用于表示第一存儲空間中存儲區域的先后順序；

計算所述第一層組的第一輸出張量的第一數據量；

根據所述第一數據量更新所述第一存儲編號對應存儲區域的大小。

在神經網絡中，若兩個輸出張量的負載相同，說明該兩個層組的輸出數據需要融合在一起。在本申請實施例中，以層組的輸出張量為細粒度進行存儲空間的劃分，可以有效避免神經網絡數據存儲過程中數據混淆情況的發生。進一步的，為具有相同負載的輸出張量分配相同的存儲編號，相同的存儲編號對應一個連續的存儲區域，相當于將具有相同負載的輸出張量分配到同一個連續的存儲區域內。通過上述方法，相當于在存儲空間中對具有相同負載的輸出張量進行融合，減少了存儲空間與處理器之間的數據傳輸次數，進而減少了存儲空間的數據傳輸壓力。另外，根據具有相同負載的輸出張量的數據量更新其對應存儲區域的大小，使得存儲空間內的存儲區域盡可能復用，進而提高了存儲空間的利用率。

第二方面，本申請實施例提供了一種存儲空間分配裝置，應用于神經網絡，所述神經網絡中包括多個層組，每個層組中包括連續的至少一個層，每個層組有至少一個輸入端層組和至少一個輸出端層組，所述裝置包括：

第一分配單元，用于若所述神經網絡中存在與第一層組的第一輸出張量具有相同負載的第二層組的第二輸出張量、且所述第二層組的第二輸出張量已分配有第一存儲編號，則將所述第一存儲編號分配給所述第一層組的第一輸出張量，其中，所述第一輸出張量的負載為所述第一層組的輸出端層組的輸出張量，存儲編號用于表示第一存儲空間中存儲區域的先后順序；

數據計算單元，用于計算所述第一層組的第一輸出張量的第一數據量；