[發明專利]用于從人工神經網絡分配中間數據的設備和方法

在審

• 申請號: 202110476883.3
• 申請日: 2021-04-29
• 公開（公告）號: CN113592082A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: L·福里奧特;E·普萊巴尼;M·法爾凱托
• 申請（專利權）人: 意法半導體股份有限公司;意法半導體(魯塞)公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 張昊

本公開提供了用于從人工神經網絡分配中間數據的設備和方法。根據一個方面，一種用于為存儲器分配確定由神經網絡生成的數據塊在存儲器區域中的放置的方法，包括：開發塊的放置的初始序列，從多個可能放置中選擇每個放置，初始序列被限定為候選序列；通過存儲的未選擇放置，根據初始序列的給定放置的取代開發放置的至少一個修改序列；以及如果通過該修改序列獲得的存儲器區域的計劃大小小于候選序列的存儲器區域的大小，則該修改序列成為候選序列；一旦開發了每個修改序列，針對分配的塊的放置是被限定為候選序列的放置序列的放置。

相關申請的交叉參考

本申請要求于2020年4月30日提交的法國申請第2004337號的權益，該申請通過引用并入本文。

技術領域

實施例和實施方式涉及人工神經網絡設備和方法，更具體地，涉及這些神經網絡的執行期間的存儲器的分配。

背景技術

人工神經網絡通常包括神經元層。

人工神經網絡將數據集作為第一層的輸入，并且輸出最終結果作為來自最后一層的輸出。

神經網絡直到最后一層的每一層都允許在該層的輸出處生成中間數據塊，代表中間結果。這些中間數據塊作為其他層的輸入，其他層根據這些中間數據塊生成它們自己的中間數據塊。

發明內容

人工神經網絡可通過諸如微控制器的集成電路來實施。

在神經網絡的執行期間，中間數據被臨時存儲在集成電路存儲器的存儲器區域(稱為全局存儲器區域)中。然而，一些集成電路具有有限大小的存儲器。

因此，重要的是限制由神經網絡的層生成的中間數據的存儲所需的大小。

為了限制中間數據的存儲所需的大小，應該提供允許根據全局存儲器區域中的優化放置來臨時存儲中間數據塊的方法。

已知的分配解決方案并不總是允許獲得存儲器的最佳分配。具體地，這些分配解決方案并不總是允許獲得優化的全局存儲器區域大小。

例如，一種已知解決方案包括僅將中間數據塊放置在全局存儲器區域的自由區域中。

這樣的解決方案會導致過多的存儲器碎片，從而在存儲器的自由區域在神經網絡的執行期間變得太小的情況下導致浪費存儲器。

另一種已知的解決方案包括疊加分配，其中，對于每一層，由該層生成的中間數據塊可在全局存儲器區域中覆寫作為該層輸入的中間數據塊的至少一部分。

這種解決方案的缺點在于僅操作用于序列型神經網絡。序列型神經網絡是由每一層生成的中間數據塊僅作為緊隨該最后一層的層的輸入的神經網絡。

因此，這種解決方案不適用于將一些層的輸出數據作為多層輸入的神經網絡。事實上，當其他層需要時，這些輸出數據在被后續層使用后不能被覆寫。

因此，需要提出一種允許減小存儲由神經網絡的層生成的中間數據塊所需的存儲器大小的方法。