[發明專利]一種集成電路中激活函數運算方法、裝置及電路

在審

• 申請號: 201810985457.0
• 申請日: 2018-08-28
• 公開（公告）號: CN110866595A
• 公開（公告）日: 2020-03-06
• 發明（設計）人: 黃銳;謝憶純;陳元;宋成偉;葉振昀;張楠賡
• 申請（專利權）人: 北京嘉楠捷思信息技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京市中倫律師事務所 11410
• 代理人: 楊黎峰;鐘錦舜

1.一種集成電路中激活函數運算方法，其特征在于，包括：

獲取激活函數輸入數據，并將所述激活函數輸入數據調整至符合激活函數預設輸入范圍；

根據對所述激活函數輸入數據的調整，對輸入的激活函數參數中的激活函數系數進行調整；

根據調整后的激活函數系數，對符合所述激活函數預設輸入范圍的激活函數輸入數據進行激活函數的運算。

2.如權利要求1所述的方法，其特征在于，所述獲取激活函數輸入數據，并將所述激活函數輸入數據調整至符合激活函數預設輸入范圍，具體包括：

獲取激活函數輸入數據，并確定所述激活函數輸入數據的統計結果；

根據所述激活函數輸入數據的統計結果，將所述激活函數輸入數據調整至符合激活函數預設輸入范圍。

3.如權利要求2所述的方法，其特征在于，所述激活函數輸入數據的統計結果包括：

激活函數輸入數據的直方圖分布規律；和/或

激活函數輸入數據的極值。

4.如權利要求2所述的方法，其特征在于，所述根據所述激活函數輸入數據的統計結果，將所述激活函數輸入數據調整至符合激活函數預設輸入范圍，包括：

根據所述激活函數輸入數據的統計結果，通過偏置調整和/或系數調整，將所述激活函數輸入數據調整至符合激活函數預設輸入范圍。

5.如權利要求1所述的方法，其特征在于，所述根據對所述激活函數輸入數據的調整，對輸入的激活函數參數中的激活函數系數進行調整，包括：

根據對所述激活函數輸入數據的調整，確定針對輸入的激活函數參數中的激活函數系數的調整系數；

根據所述激活函數系數的調整系數，對所述激活函數系數進行調整。

6.如權利要求1所述的方法，其特征在于，所述激活函數為N段分段函數，N為整數且N≥1；

所述根據調整后的激活函數系數，對符合所述激活函數預設輸入范圍的激活函數輸入數據進行激活函數的運算，包括：

根據所述激活函數參數中的激活函數分段信息以及調整后的激活函數系數，選通各分段范圍內的激活函數輸入數據進行對應分段的激活函數運算。

7.如權利要求1所述的方法，其特征在于，所述激活函數運算包括：

線性運算；或者

三次條樣曲線運算；或者

二次函數運算。

8.一種集成電路中激活函數運算裝置，其特征在于，包括：

第一調整單元，用于獲取激活函數輸入數據，并將所述激活函數輸入數據調整至符合激活函數預設輸入范圍；

第二調整單元，用于根據對所述激活函數輸入數據的調整，對輸入的激活函數參數中的激活函數系數進行調整；

運算單元，用于根據調整后的激活函數系數，對符合所述激活函數預設輸入范圍的激活函數輸入數據進行激活函數的運算。

9.一種集成電路中激活函數運算電路，其特征在于，包括：

激活函數數據加載器，用于獲取激活函數輸入數據；

激活函數前量化單元，連接所述激活函數數據加載器，用于將所述激活函數輸入數據調整至符合激活函數預設輸入范圍，并根據對所述激活函數輸入數據的調整，確定激活函數系數的調整系數；

激活函數運算單元，連接所述激活函數前量化單元，用于根據所述激活函數系數的調整系數，調整所輸入的激活函數參數中的激活函數系數，并對符合所述激活函數預設輸入范圍的激活函數輸入數據進行激活函數的運算。

10.如權利要求9所述的電路，其特征在于，還包括：

統計單元，連接所述激活函數數據加載器和所述激活函數前量化單元，用于確定所述激活函數輸入數據的統計結果；

所述激活函數前量化單元根據所述激活函數輸入數據的統計結果，將所述激活函數輸入數據調整至符合激活函數預設輸入范圍。