[發(fā)明專利]一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器

在審

• 申請?zhí)枺?/td>: 202011424498.6
• 申請日: 2020-12-08
• 公開（公告）號: CN114611680A
• 公開（公告）日: 2022-06-10
• 發(fā)明（設計）人: 楊永魁;陳瑞;王崢;陳超;喻之斌
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

1.一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，包括池化模塊、累加模塊、激活模塊、全局緩沖模塊及若干個分片模塊。

2.根據(jù)權利要求1所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，所述分片模塊中包括處理單元PE。

3.根據(jù)權利要求2所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，所述處理單元PE包括若干個突觸陣列、PE緩沖器、累加器及輸出緩沖器。

4.根據(jù)權利要求3所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，所述突觸陣列包括存儲單元陣列、模數(shù)轉換器ADC、位線譯碼器、字線譯碼器、模擬多路選擇器、位移寄存器。

5.根據(jù)權利要求1所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，所述加速器用于支持混合精度神經(jīng)網(wǎng)絡，通過Caffe平臺、Tensorflow平臺、或者Pytorch平臺對神經(jīng)網(wǎng)絡進行分層混合精度量化。

6.根據(jù)權利要求5所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，每層所述神經(jīng)網(wǎng)絡按各自的量化精度，部署到分片模塊中。

7.根據(jù)權利要求6所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，如果一個所述分片模塊不足以部署某一層的權重，則使用多個相同的分片模塊。

8.根據(jù)權利要求7所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，部署不同的所述神經(jīng)網(wǎng)絡層的分片模塊，該分片模塊的內(nèi)部電路設計不一定相同。

9.根據(jù)權利要求7所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，部署同一層所述神經(jīng)網(wǎng)絡的分片模塊，該分片模塊的內(nèi)部電路設計完全一致。

10.根據(jù)權利要求7所述的一種算法與硬件協(xié)同優(yōu)化的混合精度存內(nèi)計算加速器，其特征在于，所述神經(jīng)網(wǎng)絡層的權重、激勵用低位寬的權重代替了全精度位寬或者8位位寬。