[發明專利]一種神經網絡的激活函數計算量化方法

有效

• 申請號: 202110243446.7
• 申請日: 2021-03-05
• 公開（公告）號: CN112749803B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 周還;張來;王福君
• 申請（專利權）人: 成都啟英泰倫科技有限公司
• 主分類號: G06N3/0495
• 分類號: G06N3/0495;G06N3/048;G06N3/08;G06F7/487;G06F1/03
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種神經網絡的激活函數計算量化方法，所述激活函數具有極值,其特征在于,包括如下步驟:

S1：確定線性放大系數A;

在計算所需區間內,計算激活函數Y=F(X)各點導數,導數最大值作為線性放大系數;所述激活函數為奇函數或偶函數；

S2：計算X=1/A，2/A.....n/A的對應函數值Y1、Y2、…YN作為查表的結果；其中n為區間內設定的查找表長度，N=1、2…n；所述查找表長度n=INT?(B*A),B為激活函數的反函數在計算所需區間終點的值，INT表示取整；

所得到的數據表為如下形式，

X1、X2、…XN表示查表輸入值，

Y1、Y2、…YN表示查表輸出值；

其中,?Y=lut（INT（X*A））；

其中X為輸入的待計算數據，A為輸入線性放大系數，INT為取整函數；lut為查表函數,取整的結果作為查表的地址進行查表，根據輸入地址，得到存儲在內部的數據；

查找表由一個隨機存取存儲器RAM實現；

S3：計算查表輸入值X=INT(in*A)，其中in為直接輸入值，INT表示取整，根據得到的查表輸入值X，在步驟S2的數據表中查出對應的查表輸出值Y。

2.如權利要求1所述神經網絡的激活函數計算量化方法，其特征在于，所述查找表存儲在隨機存取存儲器RAM中。

3.如權利要求1所述神經網絡的激活函數計算量化方法，其特征在于，所述INT函數為向上取整、向下取整或四舍五入取整中的一種。