[發明專利]多級存儲器層級結構

有效

• 申請號: 201910840764.4
• 申請日: 2019-09-06
• 公開（公告）號: CN110888824B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 金向東;周芬;熊成玉
• 申請（專利權）人: 黑芝麻智能科技（上海）有限公司
• 主分類號: G06F12/0811
• 分類號: G06F12/0811;G06N3/063
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 景懷宇

一種在卷積神經網絡中分層構造多級存儲器的方法，包括：將存儲器劃分為多個部分，將該多個部分劃分為多個條帶，在MAC陣列中利用來自所述多個條帶的輸入數據，將中間結果從MAC陣列輸出到結果緩沖器的多個條帶中的至少一個條帶，將中間結果從結果緩沖器的多個條帶中的至少一個條帶回送到輸入數據緩沖器的多個條帶中的至少一個條帶，并且將最終結果從結果緩沖器的多個條帶中的至少一個條帶輸出到輸出緩沖器的多個條帶中的至少一個條帶。

技術領域

本公開涉及卷積神經網絡，并且具體地提高了乘積累加的存儲器存取效率。

背景技術

卷積神經網絡的核心是頻繁的數據操縱器和數據存取器。通過網絡的數據在連續循環中被使用和再使用(reuse)。在乘積累加層附近，這種數據的循環經常重復。使用、尋址和存儲，然后尋址和提取數據，并且再使用該相同的數據，代表了在當前系統中的低效率。所尋求的是一種更有效的存儲器使用和再使用的方法。尋求一種根據存取頻率、帶寬、操作頻率和通過距離將存儲器劃分為層級結構的方法。還尋求一種以使系統能夠更快地存取數據的方式捕獲和存儲數據的方法。

發明內容

一種在卷積神經網絡中分層構造多級存儲器的第一示例方法，包括以下步驟中的至少一個步驟：將存儲器劃分為多個部分；將所述多個部分劃分為多個條帶；在乘積累加(MAC)陣列中利用來自所述多個條帶的輸入數據；將中間結果從MAC陣列輸出到結果緩沖器的多個條帶中的至少一個條帶；將中間結果從結果緩沖器的多個條帶中的至少一個條帶回送(loopback)到輸入數據緩沖器的多個條帶中的至少一個條帶；以及將最終結果從結果緩沖器的多個條帶中的至少一個條帶輸出到輸出緩沖器的多個條帶中的至少一個條帶。

在其中一個實施例中，所述方法還包括：劃分出MAC權重緩沖器部分；劃分出輸入數據緩沖器部分；劃分出結果緩沖器部分；劃分出輸出緩沖器部分；劃分出共享數據緩沖器部分；劃分出位測試權重存儲器部分；劃分出位測試數據存儲器部分；和劃分出外部隨機存取存儲器部分。

在其中一個實施例中，所述方法還包括：將所述輸入數據緩沖器部分劃分為多個輸入緩沖數據條帶；將所述結果緩沖器部分劃分為多個結果緩沖器條帶；將所述輸出緩沖器部分劃分為多個輸出緩沖器條帶；將所述共享數據緩沖器部分劃分為多個共享數據條帶；和將所述位測試數據存儲器部分劃分為多個位測試數據存儲器條帶。

在其中一個實施例中，所述方法還包括從所述外部隨機存取存儲器部分接收權重和輸入數據；對來自所述位測試權重存儲器部分的權重進行解壓縮；和將解壓縮的權重存儲在所述MAC權重緩沖器部分中。

在其中一個實施例中，所述方法還包括：將輸入數據從所述位測試數據存儲器部分導入到所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶；將所述輸入數據從所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶導入到所述輸入數據緩沖器部分的所述多個條帶中的至少一個條帶；和在所述MAC陣列處從所述MAC權重緩沖器部分和所述輸入數據緩沖器部分接收權重。

在其中一個實施例中，所述方法還包括：將所述最終結果從所述輸出緩沖器部分的所述多個條帶中的至少一個條帶輸出到所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶；將所述最終結果從所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶輸出到所述位測試數據存儲器部分的所述多個條帶中的至少一個條帶；和將所述最終結果從所述位測試數據存儲器部分的所述多個條帶中的至少一個條帶輸出到所述外部隨機存取存儲器部分。

在其中一個實施例中，所述方法還包括：將所述最終結果從所述輸出緩沖器部分的所述多個條帶中的至少一個條帶輸出到所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶；將所述最終結果從所述共享數據緩沖器部分的所述多個條帶中的至少一個條帶輸出到所述位測試數據存儲器部分的所述多個條帶中的至少一個條帶；和將所述最終結果從所述位測試數據存儲器部分的所述多個條帶中的至少一個條帶輸出到所述外部隨機存取存儲器部分。