[發明專利]一種基于牛頓迭代法的非線性激活函數計算裝置

有效

• 申請號: 202011090563.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112051980B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 姜曉紅;潘哲;馬德;朱國權;郝康利
• 申請（專利權）人: 浙江大學;之江實驗室
• 主分類號: G06F7/50
• 分類號: G06F7/50;G06F7/52;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，包括：

多項式近似計算單元，用于對非線性激活函數進行多項式近似計算，得到第一近似結果；

指數函數計算單元，用于對非線性激活函數中的指數部分進行指數函數的近似計算，得到第二近似結果；

牛頓迭代計算單元，依據第一近似結果和第二近似結果采用牛頓迭代法進行迭代計算，得到精確計算結果；

頓迭代計算單元中，針對形如的非線性激活函數，其中p₀，p₁，p₂均為常參數，采用如下公式對第一近似結果和第二近似結果進行迭代計算，得到精確計算結果：

其中，y₀表示第一近似結果，e^-x表示第二近似結果。

2.如權利要求1所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述牛頓迭代計算單元中包括加法器和乘法器和減法器，用來對第一近似結果和第二近似結果進行迭代計算，得到精確計算結果。

3.如權利要求1所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述指數函數計算單元采用表驅動的近似策略來對非線性激活函數中的指數部分進行指數函數近似計算，得到第二近似結果。

4.如權利要求2所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述指數函數計算單元采用表驅動的近似策略對非線性激活函數中的指數部分e^x進行指數函數近似計算時，將指數部分e^x拆分成三部分乘積的形式，即其中，s是劃分常數，根據設計取2的整數冪，m,n均為整數，ns，j是小于1/s的余項；

針對前項2^m通過移位操作計算；

針對中間項通過查找表方式提取劃分常數s進行計算；

針對后項e^jln2，采用泰勒級數展開，利用二次多項式進行近似計算。

5.如權利要求4所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述指數函數計算單元中包含用于存儲劃分常數s的存儲器、乘法器、加法器、移位操作，來實現指數函數近似計算。

6.如權利要求1所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，多項式近似單元中，對非線性激活函數的有效計算區間進行區段劃分，根據輸入變量所屬區段提取對應的多項式參數并依據該多項式參數進行多項式近似計算，得到第一近似結果；所述多項式參數為事先多項式擬合得到的。

7.如權利要求6所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述多項式近似單元中包括用于存儲多項式參數的存儲器、加法器和乘法器，來實現多項式近似計算。

8.如權利要求6所述的基于牛頓迭代法的非線性激活函數計算裝置，其特征在于，所述非線性激活函數的有效計算區間為[0,8)，并將效計算區間[0,8)劃分為8或16個區段，針對每個區段的兩個端點值存儲區段內的多項式參數，當計算時，直接根據輸入變量所屬的區段查找得到對應的多項式參數。