[發明專利]一種基于存內計算的稀疏矩陣稠密乘法加速器

在審

• 申請號: 202211658543.3
• 申請日: 2022-12-22
• 公開（公告）號: CN115964015A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 張嘯宇;陳曉明;韓銀和
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F7/523
• 分類號: G06F7/523;G06F7/487;G06F17/16
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明實施例提供一種基于存內計算的稀疏矩陣稠密乘法加速器，該加速器包括：控制器，用于根據當前的計算任務，確定其中稀疏矩陣的所有非零數值、稠密向量的所有非零數值、稀疏矩陣和稠密向量的每個非零數值對應的行索引值和列索引值，且非零數值為浮點數值；CAM陣列，用于存儲稀疏矩陣的每個非零數值對應的行索引值和列索引值，根據稠密向量的每個非零數值的行索引值匹配需與之進行計算的稀疏矩陣的每個非零數值的列索引值和行索引值，得到匹配結果；MAC陣列，用于根據CAM陣列的匹配結果關聯存儲稀疏矩陣的每個非零數值和稠密向量的每個非零數值，并執行關聯存儲的稀疏矩陣的每個非零數值與稠密向量對應的非零數值間的浮點乘法計算，得到計算結果。

技術領域

本發明涉及存內計算領域，具體來說，涉及一種基于存內計算的稀疏矩陣稠密乘法加速器。

背景技術

稀疏矩陣稠密向量乘法(sparse?matrix-dense?vector?multiplication,SpMV)是一個基本的線性代數內核，也是一個重要的計算原語。它在多種應用中被使用，例如科學計算和圖形處理。由于較差的數據局部性和不規則的內存訪問，傳統SpMV加速器的性能通常受到內存的限制。存內計算(In-memory?computing,IMC)被視為緩解內存瓶頸的一種很有前途的技術。然而現存的基于存內計算的SpMV加速器存在一些缺陷，使得他們難以很好地支持對SpMV的加速。

現有的基于存內計算技術的稀疏矩陣稠密向量乘法加速器主要包括以下兩種：

方案一：以參考文獻[1]為代表的方案則是使用基于電阻式隨機存取存儲器(resistive?random-access?memory，ReRAM)的內存存儲參與乘法計算的稀疏矩陣數據。隨后使用內存可尋址存儲器(Content?Addressable?Memory，CAM)陣列完成索引匹配，將匹配的稀疏矩陣數據從內存中讀出然后使用靠近內存的浮點乘法器來完成SpMV計算[1]。

方案二：以參考文獻[2]為代表的方案則是使用基于ReRAM的乘加(Multiply-AddComputation，MAC)陣列存儲稀疏矩陣數據，根據稀疏矩陣數據的指數范圍決定使用的MAC陣列的尺寸，將稠密向量輸入到MAC陣列中與存儲的稀疏矩陣數據進行SpMV運算。

對于第一種方案，其使用的ReRAM陣列不支持浮點表示和計算，乘法計算是使用浮點乘法器完成的，而不是使用具有高并行度的MAC陣列。這樣需要執行額外的數據讀取，不能充分利用存內計算技術的優勢，難以取得較好的性能和能量利用效率，此外浮點乘法器的使用會帶來額外的面積和功耗。對于第二種方案，其使用的基于ReRAM的MAC陣列完成SpMV運算，采用的定點乘法運算，且其陣列使用稠密格式存儲數據，不支持使用稀疏格式存儲，因此會存儲許多零元數據，帶來額外的內存面積開銷。此外，其方案根據指數范圍選擇使用的MAC陣列的尺寸，在局部稀疏矩陣數據指數范圍變化大時，無法選擇合適尺寸的MAC陣列存儲數據，這些無法存儲和計算的數據需要交給GPU處理，會顯著降低該加速器的加速效果。因此，現有技術中存在不支持存內浮點計算和不支持稀疏存儲格式的缺陷，導致加速器存在計算效率低且內存面積開銷大的問題。

參考文獻：

[1]L.Yavits?and?R.Ginosar,“Sparse?matrix?multiplication?on?CAM?basedaccelerator,”arXiv?preprint?arXiv:1705.09937,2017.

[2]B.Feinberg,U.K.R.Vengalam,N.Whitehair,S.Wang,and?E.Ipek,“EnablingScientific?Computing?on?Memristive?Accelerators,”in?2018ACM/IEEE?45th?AnnualInternational?Symposium?on?Computer?Architecture(ISCA),2018,pp.367-382.

發明內容