[發(fā)明專利]一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202211660618.1
• 申請(qǐng)日: 2022-12-23
• 公開（公告）號(hào): CN115936076A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 王中風(fēng);吳曉;梁雙;王美琪
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06N3/048
• 分類號(hào): G06N3/048;G06N3/063;G06F7/523
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 于瀚文

1.一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置，其特征在于，包括函數(shù)類型判斷單元、ReLU計(jì)算單元、簡(jiǎn)化函數(shù)計(jì)算單元、可變精度單元和優(yōu)化函數(shù)計(jì)算單元；

所述函數(shù)類型判斷單元根據(jù)輸入的待計(jì)算數(shù)據(jù)x和待計(jì)算的激活函數(shù)類型，動(dòng)態(tài)選擇激活函數(shù)的計(jì)算路徑；

所述ReLU計(jì)算單元根據(jù)待計(jì)算數(shù)據(jù)x的符號(hào)位判斷輸入的待計(jì)算數(shù)據(jù)所屬的計(jì)算區(qū)間，并根據(jù)激活函數(shù)類型進(jìn)行不同的計(jì)算操作，通過數(shù)據(jù)移位操作或直接數(shù)據(jù)賦值實(shí)現(xiàn)ReLU系列激活函數(shù)，所述ReLU系列激活函數(shù)包括ReLU函數(shù)，ReLU6函數(shù)，Leaky?ReLU函數(shù)；

所述簡(jiǎn)化函數(shù)計(jì)算單元得到H-Sigmoid激活函數(shù)的計(jì)算結(jié)果，作為Sigmoid函數(shù)計(jì)算的初始近似值，同時(shí)，通過復(fù)用簡(jiǎn)化函數(shù)計(jì)算單元內(nèi)的乘法器配合PReLU函數(shù)計(jì)算時(shí)相應(yīng)的參數(shù)來(lái)實(shí)現(xiàn)PReLU函數(shù)。

2.根據(jù)權(quán)利要求1所述的一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置，其特征在于，所述可變精度單元對(duì)Sigmoid的倒數(shù)函數(shù)1+e^-x進(jìn)行近似，得到Sigmoid倒數(shù)函數(shù)的近似值appro_sig_rec，同時(shí)，通過復(fù)用基于e指數(shù)實(shí)現(xiàn)的計(jì)算邏輯來(lái)得到Tanh函數(shù)的整式部分1-e^-2x的計(jì)算結(jié)果，提供Sigmoid的倒數(shù)函數(shù)和Tanh函數(shù)的整式部分的近似值。

3.根據(jù)權(quán)利要求2所述的一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置，其特征在于，所述優(yōu)化函數(shù)計(jì)算單元將初始近似值與倒數(shù)函數(shù)近似值進(jìn)行如下計(jì)算，得到Sigmoid函數(shù)優(yōu)化后的近似值：

Sigmoid(x)＝2×H-Sigmoid(x)-H-Sigmoid(x)²×appro_sig_rec

所述優(yōu)化函數(shù)計(jì)算單元包括1號(hào)乘法器、2號(hào)乘法器和3號(hào)乘法器；

其中appro_sig_rec為Sigmoid倒數(shù)函數(shù)的近似值，H-Sigmoid激活函數(shù)的計(jì)算結(jié)果記為中間結(jié)果A₁，基于上述公式，在優(yōu)化函數(shù)計(jì)算單元的1號(hào)乘法器進(jìn)行中間結(jié)果A₁與中間結(jié)果A₁的乘法，在2號(hào)乘法器進(jìn)行中間結(jié)果A₁的平方值與Sigmoid倒數(shù)函數(shù)的近似值appro_sig_rec的乘法，再將2號(hào)乘法器得到結(jié)果與中間結(jié)果A₁通過移位操作得到的2×A₁結(jié)果進(jìn)行減法操作，最終得到Sigmoid函數(shù)優(yōu)化后的近似值；

通過復(fù)用優(yōu)化函數(shù)計(jì)算單元內(nèi)部的3號(hào)乘法器實(shí)現(xiàn)H-Swish函數(shù)和Tanh函數(shù)；通過將Sigmoid函數(shù)計(jì)算結(jié)果乘非線性函數(shù)中相應(yīng)的整式部分來(lái)實(shí)現(xiàn)Tanh函數(shù)和Swish函數(shù)，其中Tanh函數(shù)的整式部分為1-e^-2x，Swish函數(shù)的整式部分為x。

4.根據(jù)權(quán)利要求3所述的一種適配深度學(xué)習(xí)硬件加速器的可重構(gòu)激活函數(shù)硬件裝置，其特征在于，所述簡(jiǎn)化函數(shù)計(jì)算單元內(nèi)部包括4號(hào)乘法器，所述簡(jiǎn)化函數(shù)計(jì)算單元具體執(zhí)行如下操作：

根據(jù)H-Sigmoid激活函數(shù)表達(dá)式和PReLU激活函數(shù)表達(dá)式，H-Sigmoid激活函數(shù)在待計(jì)算數(shù)據(jù)x輸入范圍為(-3,3)和PReLU激活函數(shù)在x輸入范圍為(-∞，0)時(shí)，都需要4號(hào)乘法器來(lái)實(shí)現(xiàn)函數(shù)計(jì)算，在簡(jiǎn)化函數(shù)計(jì)算單元內(nèi)部使用4號(hào)乘法器來(lái)完成H-Sigmoid函數(shù)的操作和PReLUde的α·x操作，其中α是小于1的常數(shù)。