[發(fā)明專利]一種集成電路中激活函數(shù)運算方法、裝置及電路

在審

• 申請?zhí)枺?/td>: 201810985457.0
• 申請日: 2018-08-28
• 公開（公告）號: CN110866595A
• 公開（公告）日: 2020-03-06
• 發(fā)明（設(shè)計）人: 黃銳;謝憶純;陳元;宋成偉;葉振昀;張楠賡
• 申請（專利權(quán)）人: 北京嘉楠捷思信息技術(shù)有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 楊黎峰;鐘錦舜

本發(fā)明提供了一種集成電路中激活函數(shù)運算方法、裝置及電路，涉及集成電路領(lǐng)域，通過該方法，在獲取激活函數(shù)輸入數(shù)據(jù)后，將激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍；并根據(jù)對激活函數(shù)輸入數(shù)據(jù)的調(diào)整，對激活函數(shù)參數(shù)中的激活函數(shù)系數(shù)進行調(diào)整；再根據(jù)調(diào)整后的激活函數(shù)系數(shù)，對符合激活函數(shù)預設(shè)輸入范圍的激活函數(shù)輸入數(shù)據(jù)進行激活函數(shù)運算。由于將激活函數(shù)輸入數(shù)據(jù)調(diào)整到了符合激活函數(shù)預設(shè)輸入范圍，并適應性調(diào)整了激活函數(shù)系數(shù)，使得運算結(jié)果仍然對應調(diào)整前的激活函數(shù)輸入數(shù)據(jù)，通過該方法，可以使得激活函數(shù)能夠進行較大范圍的運算，同時其邏輯簡單，激活函數(shù)運算成本和功耗較低。

技術(shù)領(lǐng)域

本發(fā)明屬于集成電路領(lǐng)域，具體涉及一種集成電路中激活函數(shù)運算方法、裝置及電路。

背景技術(shù)

在VLSI(Very Large Scale Integration，超大規(guī)模集成電路)上實現(xiàn)CNN(Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò))，必然要實現(xiàn)激活函數(shù)層。然而受到ASIC設(shè)計規(guī)則的相關(guān)約束，算法模型必須利用RTL(Register Transfer Level，寄存器傳輸級(數(shù)字電路抽象描述))實現(xiàn)，其中會遇到輸出數(shù)據(jù)飽和，運算定點化，支持的運算模式單一，以及動態(tài)范圍不足等問題。

激活函數(shù)層必須要解決運算定點化問題，并且有盡可能好的動態(tài)范圍，適應不同種類的激活函數(shù)。

通常情況下，目前使用浮點運算單元進行激活函數(shù)運算，精度高，動態(tài)范圍大。但是，使用浮點運算單元進行激活函數(shù)運算，邏輯多且時序差，占用很大的ASIC面積，成本和功耗很高。

為降低成本和功耗，以及減少占用的ASIC(Application Specific IntegratedCircuit，專用集成電路)面積，也可以使用專門的電路實現(xiàn)特定的激活函數(shù)，精度高，邏輯少，時序好，占用ASIC面積少，成本和功耗低。但是其動態(tài)范圍小，可以進行的激活函數(shù)運算必須是限定的幾種，應用受到制約。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種集成電路中激活函數(shù)運算方法、裝置及電路，以實現(xiàn)以較低的成本和功耗進行較多種類激活函數(shù)的運算。

依據(jù)本發(fā)明的第一方面，提供了一種集成電路中激活函數(shù)運算方法，包括：

獲取激活函數(shù)輸入數(shù)據(jù)，并將所述激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍；

根據(jù)對所述激活函數(shù)輸入數(shù)據(jù)的調(diào)整，對輸入的激活函數(shù)參數(shù)中的激活函數(shù)系數(shù)進行調(diào)整；

根據(jù)調(diào)整后的激活函數(shù)系數(shù)，對符合所述激活函數(shù)預設(shè)輸入范圍的激活函數(shù)輸入數(shù)據(jù)進行激活函數(shù)運算。

進一步，所述獲取激活函數(shù)輸入數(shù)據(jù)，并將所述激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍，具體包括：

獲取激活函數(shù)輸入數(shù)據(jù)，并確定所述激活函數(shù)輸入數(shù)據(jù)的統(tǒng)計結(jié)果；

根據(jù)所述激活函數(shù)輸入數(shù)據(jù)的統(tǒng)計結(jié)果，將所述激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍。

更進一步，所述激活函數(shù)輸入數(shù)據(jù)的統(tǒng)計結(jié)果，具體包括：

激活函數(shù)輸入數(shù)據(jù)的直方圖分布規(guī)律；和/或

激活函數(shù)輸入數(shù)據(jù)的極值。

更進一步，所述根據(jù)所述激活函數(shù)輸入數(shù)據(jù)的統(tǒng)計結(jié)果，將所述激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍，具體包括：

根據(jù)所述激活函數(shù)輸入數(shù)據(jù)的統(tǒng)計結(jié)果，通過偏置調(diào)整和/或系數(shù)調(diào)整，將所述激活函數(shù)輸入數(shù)據(jù)調(diào)整至符合激活函數(shù)預設(shè)輸入范圍。

進一步，所述根據(jù)對所述激活函數(shù)輸入數(shù)據(jù)的調(diào)整，對輸入的激活函數(shù)參數(shù)中的激活函數(shù)系數(shù)進行調(diào)整，具體包括：