[發明專利]激活函數的優化方法和優化裝置

在審

• 申請號: 202010997320.4
• 申請日: 2020-09-21
• 公開（公告）號: CN112116076A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陳海波;李思遠
• 申請（專利權）人: 深蘭人工智能芯片研究院（江蘇）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 陳紅橋

本發明提供一種激活函數的優化方法和優化裝置，所述優化方法包括以下步驟：獲取當前神經網絡數據；根據神經網絡模型對當前神經網絡數據進行處理，以獲取當前激活輸入值；將當前激活輸入值左移N位，以得到目標激活輸入值，其中，N為正整數；以及將目標激活輸入值和預設的激活輸入值與激活值之間的對照關系表進行比對，以查表獲得與目標激活輸入值對應的激活值。本發明實施例的優化方法，能夠通過查表的方式獲取激活值，有效提升了激活函數在處理器上的計算速度。

技術領域

本發明涉及深度學習技術領域，具體涉及一種激活函數的優化方法、一種激活函數的優化裝置、一種計算機設備、一種非臨時性計算機可讀存儲介質和一種計算機程序產品。

背景技術

目前，pytorch深度學習框架中，沒有提供swish激活函數算子，需要手動定義。

其中，wish激活函數的定義為x*sigmoid(x)，在pytorch框架中，使用高層函數接口實現swish，需要保存激活函數前的數值x，并計算sigmoid(x)，然后再計算x*sigmoid(x)的數值，sigmoid函數計算量較大，而且使用此方法的swish計算過程，保存中間變量較多，需要大量訪問內存。

發明內容

本發明為解決上述技術問題，提供了一種激活函數的優化方法，能夠通過查表的方式獲取激活值，有效提升了激活函數在處理器上的計算速度。

本發明采用的技術方案如下：

一種激活函數的優化方法，包括以下步驟：獲取當前神經網絡數據；根據神經網絡模型對所述當前神經網絡數據進行處理，以獲取當前激活輸入值；將所述當前激活輸入值左移N位，以得到目標激活輸入值，其中，N為正整數；以及將所述目標激活輸入值和預設的激活輸入值與激活值之間的對照關系表進行比對，以查表獲得與所述目標激活輸入值對應的激活值。

根據本發明的一個實施例，所述預設的激活輸入值與激活值之間的對照關系表通過以下方式生成：獲取多個訓練數據；根據所述神經網絡模型對所述多個訓練數據進行處理，以確定激活輸入值的取值范圍；以所述N位的取值間隔從所述激活輸入值的取值范圍內，選取多個激活輸入值；計算所述多個激活輸入值中每個激活輸入值對應的激活值，以生成所述預設的激活輸入值與激活值之間的對照關系表。

根據本發明的一個實施例，所述根據所述神經網絡模型對所述多個訓練數據進行處理，以確定激活輸入值的取值范圍，具體包括：將所述多個訓練數據中的訓練數據依次輸入至所述神經網絡模型；通過所述神經網絡模型依次處理所述多個訓練數據中的訓練數據，以確定所述激活輸入值的最大值和所述激活輸入值的最小值；根據所述激活輸入值的最大值和所述激活輸入值的最小值，確定所述激活輸入值的取值范圍。

根據本發明的一個實施例，通過以下公式計算所述多個激活輸入值中每個激活輸入值對應的激活值：

W＝1/(1+e^-x)，

其中，W為所述激活值，e為預設的自然常數，x為所述激活輸入值。

根據本發明的一個實施例，在將所述目標激活輸入值和所述預設的激活輸入值與激活值之間的對照關系表進行比對的過程中，如果所述目標激活輸入值大于所述對照關系表中激活輸入值的最大值，則查表獲得所述對照關系表中激活輸入值的最大值對應的激活值，并將該激活值作為與所述目標激活輸入值對應的激活值；如果所述目標激活輸入值小于所述對照關系表中激活輸入值的最小值，則查表獲得所述對照關系表中激活輸入值的最小值對應的激活值，并將該激活值作為與所述目標激活輸入值對應的激活值。