[發明專利]用于解決通用AI處理器存儲帶寬效率的動態緩存方法

有效

• 申請號: 202110316851.7
• 申請日: 2021-03-25
• 公開（公告）號: CN112699063B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 蔡浩田;沈亞明;葛悅飛
• 申請（專利權）人: 軫谷科技（南京）有限公司;寧波軫谷科技有限公司
• 主分類號: G06F12/0886
• 分類號: G06F12/0886;G06F12/0868
• 代理公司: 上海浙晟知識產權代理事務所(普通合伙) 31345
• 代理人: 楊小雙

本發明涉及用于解決通用AI處理器存儲帶寬效率的動態緩存方法，在緩存行中增加一個bit標志位C，數據段被連續儲存在常規的緩存行數據中，按照以下步驟進行數據讀取：S1根據CPU讀取指令判斷，若是數據段讀取則進入S2；S2根據index域確定數據段的位置；S3對比數據段的tag和緩存中的tag，若一致則進入S4；S4檢查V位，若V位為1則進入S5；S5檢查C位，若C位為1則進入S6；S6根據讀取指令需要讀取的數據長度，檢查起始地址后面緩存中的C位，如果連續存儲數據的C位都被置為1，并且數據長度滿足讀取數據長度，則進行連續讀取，否則出現緩存未命中。能同時滿足CPU和AI處理器的運算需求。

技術領域

本發明涉及一種數據緩存，尤其是用于解決通用AI處理器存儲帶寬效率的動態緩存方法。

背景技術

目前，人工智能廣泛應用到各個領域， 深度神經網絡技術已經成為人工智能領域的代表性算法，基于深度神經網絡技術的字符識別、圖像分類或語音識別等關鍵技術，已經廣泛應用于搜索引擎和智能手機等產品中。

深度神經網絡技術的核心計算單元是乘加運算，乘法累加器陣列常用于矩陣乘法運算，因此MAC（乘累加器）陣列是為AI計算的核心，越來越多的通用計算芯片為了迎合的AI計算的需求，專門加入了MAC陣列來提高計算能力。但是這個給本來已經是瓶頸的數據通路增加更多的數據流量，使得MAC硬件經常處于等待數據的狀態，得不到有效的利用，從而影響實際的計算能力。

常規的數據緩存和內存之間交換數據的單位是緩存行，緩存行的大小根據不同的緩存設計會不同。我們在這里可以假設我們的緩存行大小為128比特。確定這個之后，第二個問題是當緩存的數據從內存中讀出之后，應該如何放入數據緩存。現有技術中主要包括兩種常規數據緩存和數據讀取：直接映射緩存和關聯緩存。

直接映射緩存：

假設緩存行大小是128比特。如圖1所示，現在我們假設數據緩存大小是2kByte。那么一共可以放下16個緩存行。假設內存大小是2Mbyte，可以放下16284個緩存行。2Mbyte的內存地址長度應該是21位。由于緩存行大小是128比特，就是16byte，那么地址的后4位就作為緩存行內的偏移地址。剩下16為，其中4位是在緩存中尋址的index。最后剩下的13位作為tag，被保存使用。用于判斷在緩存中讀取數據是否命中。

如圖2所示，如何把內存從中讀到的緩存行放到緩存中：緩存每次會從內存中讀一個緩存行，緩存行的地址只需要前17位，0～16283。緩存中的16個index，0～15。之后我們用緩存行地址和16進行取余。得到的余數也是0～15。這樣，就把緩存行放到余數和緩存的index相同的位置。

所以，放入的位置的index可以用以下公式得出：

（緩存行地址） mod （緩存中可以存放的緩存行的數量）

CPU讀取直接映射緩存中的數據時按照以下步驟：

假設CPU發給緩存的地址也是21位。那么緩存會先對比index對應的位域，然后從緩存中對應的位置讀出tag，把CPU發出的地址中和tag對應的位域和tag相比對，如果相同說明緩存命中，可以根據剩下的偏移地址從緩存行中把數據讀出；如果tag不相同那么就是緩存未命中，需要從內存中讀取數據。

以上是直接映射緩存的讀取的工作方式。

如圖3所示，用一個例子說明如何讀取緩存，在這之前，我們需要多加一個細節。在每個緩存項加一個bit用來指示這個緩存是否有效。之后得到的過程如下：

直接映射緩存讀取的過程：

1）根據index的值找到對應的緩存項。

2）比較tag域中的值是否和目標地址的tag域相同，相同進行下一步，不相同出現緩存未命中。