[發明專利]一種基于阻變存儲器的神經網絡映射方法、加速器

有效

• 申請號: 202010722047.4
• 申請日: 2020-07-24
• 公開（公告）號: CN112070204B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 何銀濤;王穎;李華偉;李曉維
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種基于阻變存儲器的神經網絡權重映射方法，其中，所述阻變存儲器以存儲單元的高阻態和低阻態存儲二值數據，其特征在于，所述映射方法包括：

S1、獲得神經網絡以二值形式表示的二進制權重陣列；其中，所述S1包括獲得對神經網絡的全精度權重值陣列進行均勻量化后的以二值形式表示的二進制權重陣列并執行如下步驟：

S11、獲得所述二進制權重陣列的每一列的第一值和第二值的數量；

S12、根據每一列的第一值和第二值的數量設置干擾因子并為每一個均勻量化對應的量化閾值設置偏移方向，其中，第一值數量多的列對應的量化閾值的偏移方向為增加第一值數量的方向，第二值數量多的列對應的量化閾值的偏移方向為增加第二值數量的方向；

S13、根據設置的干擾因子和偏向方向偏移后的量化閾值對所述二進制權重值陣列進行偏移量化；

S2、獲得所述二進制權重值陣列的每一列的第一值和第二值的數量；

S3、將所述二進制權重值陣列的每一列權重值映射存儲到所述阻變存儲器的每一列存儲單元中，其中，對于第一值的數量大于第二值的數量的列，第一值映射為高阻態，第二值映射為低阻態；否則第二值映射為高阻態，第一值映射為低阻態。

2.根據權利要求1所述的一種基于阻變存儲器的神經網絡權重映射方法，其特征在于，所述步驟S1還包括：

S14、對完成全精度權重值陣列偏移量化后的神經網絡進行多次迭代訓練至收斂，對收斂后的神經網絡的全精度權重值陣列進行偏移量化得到以二值形式表示的二進制權重陣列；其中，每次訓練包括：

S141、獲取上一次訓練后的當前全精度權重值陣列以及該全精度權重值陣列根據設置的干擾因子和偏移方向偏移量化后以二值形式表示的二進制權重陣列；

S142、根據步驟S141中的二進制權重陣列和輸入數據進行神經網絡計算得到神經網絡的輸出，將該輸出與輸入數據的真實值進行比較計算得到當前的計算誤差；

S143、根據步驟S142中的計算誤差對當前全精度權重值陣列進行更新。

3.一種神經網絡數據存儲計算裝置，包括：

阻變存儲器，其中，所述阻變存儲器以存儲單元的高阻態和低阻態存儲二值數據；

數字模擬轉換裝置，用于將神經網絡輸入數據轉換為模擬電壓值以加載在阻變存儲器陣列的行上；

模擬數字轉換裝置，用于將所述阻變存儲器每一列輸出的電流值轉換為數字值；以及,

狀態寄存器，用于存儲對應于阻變存儲器每一列的狀態；

其中，采用權利要求1至2任一所述的方法將以二值形式表示的二進制權重陣列的每一列權重值映射存儲到所述阻變存儲器的每一列存儲單元中，其中，對于第一值的數量大于第二值的數量的列，所述狀態寄存器的相應位標記為第一狀態，否則為第二狀態。

4.一種神經網絡加速器，包括：

權利要求3所述的神經網絡數據存儲計算裝置；

移位累加裝置，用于對神經網絡數據存儲計算裝置的計算結果進行移位累加，得到輸入數據與權重值矩陣向量乘法計算的結果。

5.根據權利要求4所述的神經網絡加速器，其特征在于，所述加速器還包括：

減法裝置，用于將輸入數據與權重值矩陣向量乘法計算的結果與輸入數據進行減法操作以得到實際的神經網絡權重值與輸入數據的計算值；

取反裝置，用于對經過減法裝置處理后的數據進行取反操作；

多路選擇裝置，用于根據狀態寄存器中標記的狀態確定選擇減法裝置的計算結果或取反裝置的計算結果；

緩沖區，用于緩存神經網絡數據存儲計算裝置的計算結果以及激活函數裝置激活后的結果。

6.根據權利要求5所述的一種神經網絡加速器，其特征在于，所述加速器包含多個由神經網絡數據存儲計算裝置、移位累加裝置、減法裝置、取反裝置、多路選擇裝置、激勵函數裝置、緩沖區組成的單元，每個單元對應于神經網絡的一層。

7.一種計算機可讀存儲介質，其特征在于，其上包含有計算機程序，所述計算機程序可被處理器執行以實現權利要求1至2任一所述方法的步驟。

8.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述電子設備實現如權利要求1至2中任一項所述方法的步驟。