[發明專利]激活函數的優化方法和優化裝置

在審

• 申請號: 202010997320.4
• 申請日: 2020-09-21
• 公開（公告）號: CN112116076A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陳海波;李思遠
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

1.一種激活函數的優化方法，其特征在于，包括以下步驟：

獲取當前神經網絡數據；

根據神經網絡模型對所述當前神經網絡數據進行處理，以獲取當前激活輸入值；

將所述當前激活輸入值左移N位，以得到目標激活輸入值，其中，N為正整數；以及

將所述目標激活輸入值和預設的激活輸入值與激活值之間的對照關系表進行比對，以查表獲得與所述目標激活輸入值對應的激活值。

2.根據權利要求1所述的激活函數的優化方法，其特征在于，所述預設的激活輸入值與激活值之間的對照關系表通過以下方式生成：

獲取多個訓練數據；

根據所述神經網絡模型對所述多個訓練數據進行處理，以確定激活輸入值的取值范圍；

以所述N位的取值間隔從所述激活輸入值的取值范圍內，選取多個激活輸入值；

計算所述多個激活輸入值中每個激活輸入值對應的激活值，以生成所述預設的激活輸入值與激活值之間的對照關系表。

3.根據權利要求2所述的激活函數的優化方法，其特征在于，所述根據所述神經網絡模型對所述多個訓練數據進行處理，以確定激活輸入值的取值范圍，具體包括：

將所述多個訓練數據中的訓練數據依次輸入至所述神經網絡模型；

通過所述神經網絡模型依次處理所述多個訓練數據中的訓練數據，以確定所述激活輸入值的最大值和所述激活輸入值的最小值；

根據所述激活輸入值的最大值和所述激活輸入值的最小值，確定所述激活輸入值的取值范圍。

4.根據權利要求2所述的激活函數的優化方法，其特征在于，通過以下公式計算所述多個激活輸入值中每個激活輸入值對應的激活值：

W＝1/(1+e^-x)，

其中，W為所述激活值，e為預設的自然常數，x為所述激活輸入值。

5.根據權利要求1所述的激活函數的優化方法，其特征在于，其中，

在將所述目標激活輸入值和所述預設的激活輸入值與激活值之間的對照關系表進行比對的過程中，如果所述目標激活輸入值大于所述對照關系表中激活輸入值的最大值，則查表獲得所述對照關系表中激活輸入值的最大值對應的激活值，并將該激活值作為與所述目標激活輸入值對應的激活值；

如果所述目標激活輸入值小于所述對照關系表中激活輸入值的最小值，則查表獲得所述對照關系表中激活輸入值的最小值對應的激活值，并將該激活值作為與所述目標激活輸入值對應的激活值。

6.一種激活函數的優化裝置，其特征在于，包括：

第一獲取模塊，用于獲取當前神經網絡數據；

第二獲取模塊，用于根據神經網絡模型對所述當前神經網絡數據進行處理，以獲取當前激活輸入值；

處理模塊，用于將所述當前激活輸入值左移N位，以得到目標激活輸入值，其中，N為正整數；以及

查表模塊，用于將所述目標激活輸入值和預設的激活輸入值與激活值之間的對照關系表進行比對，以查表獲得與所述目標激活輸入值對應的激活值。

7.根據權利要求6所述的激活函數的優化裝置，其特征在于，還包括生成模塊，用于通過以下方式生成所述預設的激活輸入值與激活值之間的對照關系表：

獲取多個訓練數據；

根據所述神經網絡模型對所述多個訓練數據進行處理，以確定激活輸入值的取值范圍；

以所述N位的取值間隔從所述激活輸入值的取值范圍內，選取多個激活輸入值；

計算所述多個激活輸入值中每個激活輸入值對應的激活值，以生成所述預設的激活輸入值與激活值之間的對照關系表。

8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時，實現根據權利要求1-5中任一項所述的激活函數的優化方法。

9.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現根據權利要求1-5中任一項所述的激活函數的優化方法。

10.一種計算機程序產品，其特征在于，當所述計算機程序產品中的指令由處理器執行時，執行根據權利要求1-5中任一項所述的激活函數的優化方法。