[發明專利]一種改進型的神經網絡半飽和激活函數模型的設計方法

在審

• 申請號: 202210040772.2
• 申請日: 2022-01-11
• 公開（公告）號: CN114418067A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 聶巖;張珂;張莉;焦航;劉輝
• 申請（專利權）人: 中科光啟空間信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 鄭州大豫知識產權代理事務所(普通合伙) 41214
• 代理人: 張雯雯

1.一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，包括如下的步驟：

S1、在神經網絡模型進行反向傳播時，計算神經網絡模型的相鄰兩層之間的連接權重梯度，并且將所述連接權重梯度分解為權值累積影響因子和激活函數導數累積影響因子的乘積；

S2、將神經網絡模型的激活函數的輸入變量劃分為大于等于零的數據范圍和小于零的數據范圍；

S3、針對所述大于等于零的數據范圍，為避免由所述激活函數導數累積影響因子而引起的神經網絡模型的訓練停滯，生成神經網絡模型的激活函數所必須滿足的第一選擇條件；

S4、依據所述第一選擇條件，選擇一個非飽和型的激活函數作為神經網絡模型的激活函數的第一組成部分；

S5、針對所述小于零的數據范圍，為避免神經網絡模型在反向傳播的過程中發生所述連接權重梯度消失的問題，生成神經網絡模型的激活函數所必須滿足的第二選擇條件；

S6、依據所述第二選擇條件，并且避免神經網絡模型在反向傳播過程中發生所述連接權重梯度的急劇增大，同時還避免神經網絡模型在梯度下降過程中發生收斂路徑的震蕩，構造一個飽和型的激活函數作為神經網絡模型的激活函數的第二組成部分；

所述神經網絡模型的激活函數為半飽和型，具體可以描述為如下的公式：

其中，τ(x)為激活函數，x為激活函數的輸入變量，a,b分別為構成激活函數的參數。

2.根據權利要求1所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，S1中的神經網絡模型的某相鄰兩層之間的連接權重梯度的所述權值累積影響因子，具體為神經網絡模型后續的各相鄰層間的權值的乘積。

3.根據權利要求1所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，S1中的神經網絡模型的某相鄰兩層之間的連接權重梯度的所述激活函數導數累積影響因子，具體為神經網絡模型的后續各層的激活函數的導數的乘積。

4.根據權利要求1所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，S1還包括對所述激活函數導數累積影響因子對于神經網絡模型在訓練期間的權重優化過程產生的影響進行分析，該分析過程具體包括如下的步驟：

S11、若神經網絡模型的激活函數的導數較小，則在神經網絡模型的反向傳播過程中，距離輸出層較遠的某相鄰兩層之間的連接權重梯度將由于激活函數導數的累積效應的影響而消失，進而導致神經網絡模型的訓練精度隨著訓練輪數的增加反而降低，甚至使神經網絡模型的訓練趨于停滯而無法收斂；

S12、若神經網絡模型的激活函數的導數較大，則在神經網絡模型的反向傳播過程中，距離輸出層較遠的某相鄰兩層之間的連接權重梯度將由于激活函數導數的累積效應而急劇增大，進而導致神經網絡模型在訓練過程中的不穩定性。

5.根據權利要求1所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，S3中所述神經網絡模型的激活函數所必須滿足的第一選擇條件，具體為：

其中，σ(x)為激活函數，d為預先設定的具體數值，x為激活函數的輸入變量。

6.根據權利要求1所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，其特征在于，S5中所述神經網絡模型的激活函數所必須滿足的第二選擇條件，具體為：

其中，σ(x)為激活函數，x為激活函數的輸入變量。