[發明專利]對片上緩存友好的維度變換裝置及神經網絡處理器

在審

• 申請號: 202210335890.6
• 申請日: 2022-03-31
• 公開（公告）號: CN114840470A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 謝耀;李智
• 申請（專利權）人: 成都登臨科技有限公司;上海登臨科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G06M1/272
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇;蘇曉麗

1.一種對片上緩存友好的維度變換裝置，包括控制模塊、由多個存儲塊構成的數據緩存模塊、寫入控制模塊和讀出控制模塊，其中：

所述控制模塊被配置為在接收待處理的數據搬運指令的同時獲取與該指令相關的配置信息，所述配置信息至少包括輸入數據和輸出數據的基地址信息、輸入數據和輸出數據的維度信息、輸入數據和輸出數據各維度的數據大小和數據步長；

所述控制模塊被配置為利用收到的所述配置信息生成相應輸入地址，以按照輸出數據維度從低維到高維的順序讀取相應數據；

所述寫入控制模塊被配置為將來自外部存儲單元的輸入數據寫入至所述數據緩存模塊中；

所述讀出控制模塊被配置為根據所述控制模塊的指示從所述數據緩存模塊中讀取數據并進行輸出。

2.根據權利要求1所述的裝置，其中所述數據緩存模塊中每個存儲塊為片上隨機存取存儲器，所述存儲塊的數量至少應滿足能夠整除預設的輸入數據的位寬和輸出數據的位寬，其中所述輸入數據的位寬與所述輸出數據的位寬相同。

3.根據權利要求1所述的裝置，其中所述裝置包括多個輸出通道，所述輸出通道的數量至少應滿足能整除預設的所述輸入數據的位寬和所述輸出數據的位寬。

4.根據權利要求3所述的裝置，其中每個所述輸出通道對應一個輸出地址，每個所述輸出通道內的數據是連續的，以及其中每個所述存儲塊的深度至少等于或大于每個所述輸出通道的數據位寬與單個數據的位寬的比值。

5.根據權利要求1所述的裝置，其中所述輸入數據和輸出數據的各維度數據按照從低維至高維依次線性排列存儲，所述輸入地址是根據所述輸入數據的基地址信息、各維度數據大小信息、各維度數據步長信息以及各維度的輸入計數器的計數值計算得到的。

6.根據權利要求5所述的裝置，所述控制模塊還被配置為在檢測到輸入數據維度和輸出數據維度的最低維度發生變化時，調整輸入計數器以按照輸出數據維度從低維到高維順序讀取數據，包括：

每筆輸入數據請求后，輸出數據對應的最低維度的輸入計數器增加1；當輸出數據的最低維度對應的輸入計數器的計數值達到該維度的數據大小時，將該維度的輸入計數器清零并向其在輸出數據維度中的上一級維度的輸入計數器進位；如果該上一級維度為輸入數據維度的最低維度，則進位數為單次輸入的數據量，否則進位數為1；重復上述過程，直到所有數據被讀取完。

7.根據權利要求1所述的裝置，其中所述寫入控制模塊還被配置為：

在輸入數據維度和輸出數據維度沒有發生變化時，或在輸入數據和輸出數據的最低維度沒有發生變化時，對每次收到的輸入數據進行計數，并根據當前計數值對所述數據緩存模塊中每個存儲塊的深度求模來生成對于各個所述存儲塊的寫地址，并據此將當前收到的輸入數據寫入到所述數據緩存模塊的各個存儲塊中。

8.根據權利要求1所述的裝置，其中所述寫入控制模塊還被配置為：

在輸入數據維度和輸出數據維度的最低維度發生變化時，對每次收到的輸入數據數據進行計數；

對當前收到的輸入數據進行比特循環右移操作，右移位數為當前的計數值乘以B/N，其中N為數據緩存模塊中存儲塊的數量，B為輸入數據的位寬；

根據當前計數值對所述數據緩存模塊中每個存儲塊的深度求模來生成對于各個所述存儲塊的寫地址，并據此將處理后的數據寫入到數據緩存模塊的各個存儲塊中。

9.根據權利要求3所述的裝置，其中所述讀出控制模塊還被配置為在輸入數據維度和輸出數據維度的最低維度發生變化時，根據所述控制模塊的指示按如下公式產生對于所述數據緩存模塊中各個存儲塊的讀地址：

read_address[i]＝(i+read_cnt)％(B/M/b),i∈[0,N)

其中read_cnt表示對讀出的數據量的計數，是一個從0開始的計數值；B為輸出數據的位寬、M為輸出通道的數量、b為單個數據的比特數、i為從0開始的整數，N為存儲塊的數量。

10.一種用于神經網絡的處理器，包括根據權利要求1-9中任一項所述的維度變換裝置，其用于進行處理器的片上緩存與片外存儲器之間的數據傳遞。