[發明專利]一種基于存內計算的稀疏矩陣稠密乘法加速器

在審

• 申請號: 202211658543.3
• 申請日: 2022-12-22
• 公開（公告）號: CN115964015A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 張嘯宇;陳曉明;韓銀和
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F7/523
• 分類號: G06F7/523;G06F7/487;G06F17/16
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種基于存內計算的稀疏矩陣稠密乘法加速器，其特征在于，所述加速器包括：

控制器，用于根據當前的計算任務，確定其中稀疏矩陣的所有非零數值、稠密向量的所有非零數值、稀疏矩陣和稠密向量的每個非零數值對應的行索引值和列索引值，且非零數值為浮點數值；

CAM陣列，用于存儲稀疏矩陣的每個非零數值對應的行索引值和列索引值，根據稠密向量的每個非零數值的行索引值匹配需與之進行計算的稀疏矩陣的每個非零數值的列索引值和行索引值，得到匹配結果；

MAC陣列，用于根據CAM陣列的匹配結果關聯存儲稀疏矩陣的每個非零數值和稠密向量的每個非零數值，并執行關聯存儲的稀疏矩陣的每個非零數值與稠密向量對應的非零數值間的浮點乘法計算，得到計算結果。

2.根據權利要求1所述的加速器，其特征在于，所述匹配結果包括與稠密向量對應行的非零數值進行計算的稀疏矩陣對應列的所有非零數值的第一匹配結果，MAC陣列按以下方式執行浮點乘法計算：

根據CAM陣列的第一匹配結果在MAC陣列的每行中關聯存儲稀疏矩陣的一個非零數值和與該數值進行計算的稠密向量對應的一個非零數值；

按預設規則將MAC陣列的每行中關聯存儲的稀疏矩陣的非零數值與稠密向量對應的非零數值進行浮點乘法計算，得到MAC陣列的每行的計算結果。

3.根據權利要求2所述的加速器，其特征在于，所述稀疏矩陣和稠密向量的每個非零數值包括指數和尾數，所述MAC陣列的每行中包括多個FeFET晶體管，每個FeFET晶體管存儲稀疏矩陣的非零數值的尾數的一位二進制數值，其中，按以下方式得到每行的計算結果：

將每行中關聯存儲的稀疏矩陣的非零數值的指數與稠密向量對應的非零數值的指數相加，得到總指數值；

將對應行關聯存儲的稠密向量的非零數值的尾數的每位二進制數值按位將對應位的二進制數值輸入到該行的每個FeFET晶體管中，每個FeFET晶體管執行輸入二進制數值與其存儲的二進制數值間的乘法計算，以得到該行的尾數計算結果；

根據每行的總指數值和尾數計算結果得到每行的計算結果。

4.根據權利要求3所述的加速器，其特征在于，所述每個FeFET晶體管按以下方式執行輸入二進制數值與其存儲的二進制數值間的乘法計算：

每個FeFET晶體管根據輸入為零的二進制數值與其存儲的二進制數值間的乘法計算得到尾數計算結果的相應位為零，根據輸入為一的二進制數值與其存儲的二進制數值間的乘法計算得到尾數計算結果的相應位為其存儲的二進制數值。

5.根據權利要求3所述的加速器，其特征在于，所述MAC陣列包括由多個寄存器構成的寄存器堆和第一交叉開關矩陣，第一交叉開關矩陣的每行對應一個寄存器，通過第一交叉開關矩陣的每行和其對應的寄存器關聯存儲稀疏矩陣的非零數值和與該數值進行計算的稠密向量對應的非零數值，其中，按照以下方式進行關聯存儲：

通過第一交叉開關矩陣在所述矩陣的每行中存儲稀疏矩陣的非零數值的尾數，其中，MAC陣列每行中的多個FeFET晶體管設置在第一交叉開關矩陣的每行中用于存儲尾數的相應位的二進制數值；

通過寄存器堆在稀疏矩陣的非零數值的尾數所在的行對應的寄存器中存儲該稀疏矩陣的非零數值的指數、與該稀疏矩陣的非零數值進行計算的稠密向量的非零數值的指數和尾數。

6.根據權利要求5所述的加速器，其特征在于，所述MAC陣列按以下方式得到最終計算結果：

按確定搜索的行索引值從小到大的順序依次匹配CAM陣列中存儲的與之相等的行索引值，得到與稀疏矩陣對應行的所有非零數值進行計算的稠密向量對應的非零數值的第二匹配結果；

根據第二匹配結果將稀疏矩陣的對應行中所有非零數值與對應非零數值關聯存儲的稠密向量的非零數值進行乘法計算，得到稀疏矩陣的對應行對應的乘法結果；

根據稀疏矩陣的對應行中所有非零數值的指數和與對應非零數值進行浮點乘法計算的稠密向量的非零數值的指數，對稀疏矩陣的對應行中對應的乘法結果進行浮點乘加，得到稀疏矩陣的對應行的乘加結果；

根據稀疏矩陣的所有行對應的乘加結果得到最終計算結果。