[發明專利]一種神經網絡模型的激活函數生成方法

在審

• 申請號: 201710135545.7
• 申請日: 2017-03-09
• 公開（公告）號: CN107122825A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 劉華;錢生;吳斯
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 鄭浦娟

技術領域

本發明涉及一種機器學習相關領域，特別涉及一種神經網絡模型的激活函數生成方法。

背景技術

近年來，深度學習在計算機視覺領域取得了引人注目的成果，其中一個重要因素是激活函數的發展。在人工神經網絡中，神經元節點的激活函數定義了對神經元輸出的映射，簡單來說，神經元的輸出經過激活函數處理后再作為輸出。

神經網絡中激活函數的主要作用是提供網絡的非線性建模能力。假設一個示例神經網絡中僅包含線性卷積和全連接運算，那么該網絡僅能夠表達線性映射，即便增加網絡的深度也依舊還是線性映射，難以有效建模實際環境中非線性分布的數據。加入非線性激活函數之后，深度神經網絡才具備了分層的非線性映射學習能力。因此，激活函數是深度神經網絡中不可或缺的部分。

隨著深度學習的快速發展，激活函數的種類也逐漸豐富起來。目前機器學習領域應用廣泛的激活函數有Sigmoid(S型生長曲線)函數、Tanh(雙曲正切)函數、ReLU(修正線性單元)函數、PReLU(參數化修正線性單元)函數、PELU(參數化指數型線性單元)函數、RReLU(隨機修正線性單元)函數等等。但是，這些基本的激活函數都存在不足，比如梯度消失、收斂速度較慢、均為凸函數等問題。另一方面這些激活函數也無法對不同的輸入做出相對應的激活，這是因為一旦激活函數預先定義或者學習完畢，在神經網絡模型測試階段激活函數就不會再改變。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提供一種神經網絡模型的激活函數生成方法，通過該方法生成的激活函數提高了神經網絡模型學習非線性變化的能力，并且使得神經網絡模型在測試階段能夠對不同的輸入作出不同響應，改進了神經網絡使用單一種類激活函數存在的不足。

本發明的目的通過下述技術方案實現：一種神經網絡模型的激活函數生成方法，步驟如下：

S1、選擇多個不同的基本激活函數；

S2、將步驟S1中選擇的多個不同的基本激活函數進行組合作為神經網絡模型的激活函數；

S3、神經網絡模型的激活函數隨著神經網絡模型的迭代進行更新。

優選的，所述基本激活函數為Sigmoid函數、Tanh函數、ReLU函數、PReLU函數、PELU函數或RReLU函數。

優選的，所述步驟S1中選擇2～6個不同的基本激活函數。

優選的，所述步驟S2中多個不同的基本激活函數通過以下方式進行組合得到神經網絡模型的激活函數f(x)：

p_n＝1-(p₁+p₂+,…,+p_n-1)；

其中p₁,p₂,…,p_n是各基本激活函數的組合系數，其預先設置的范圍為：0～1；為各基本激活函數，n為組合的基本激活函數的個數。

更進一步的，所述步驟S3中神經網絡模型的激活函數隨著神經網絡的迭代而進行更新的具體過程如下：

S31、首先通過反向傳播的算法對當前各基本激活函數i的組合系數p_i′，i＝1,2,…n-1進行參數更新，得到：

其中l為神經網絡模型定義的損失函數；p_i′當前各基本激活函數的組合系數，f′(x)為通過當前各基本激活函數的組合系數針對當前各基本激活函數組合得到的神經網絡的激活函數；p″_i為更新后的各基本激活函數i的組合系數；其中f′(x)為：

p′_n＝1-(p′₁+p′₂+,…,+p′_n-1)；

S32根據上述更新后的各基本激活函數的組合系數p″_i，i＝1,2,…n-1得到神經網絡模型更新后的激活函數f″(x)：

p″_n＝1-(p″₁+p″₂+,…,+p″_n-1)。

優選的，所述步驟S2中多個不同的基本激活函數通過以下方式進行組合得到神經網絡模型的激活函數f(x)：