[發明專利]一種改進型的神經網絡半飽和激活函數模型的設計方法

在審

• 申請號: 202210040772.2
• 申請日: 2022-01-11
• 公開（公告）號: CN114418067A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 聶巖;張珂;張莉;焦航;劉輝
• 申請（專利權）人: 中科光啟空間信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 鄭州大豫知識產權代理事務所(普通合伙) 41214
• 代理人: 張雯雯

本發明屬于神經網絡技術領域，公開一種改進型的神經網絡半飽和激活函數模型的設計方法：S1、將神經網絡的連接權重梯度分解為權值累積影響因子和激活函數導數累積影響因子；S2、把神經網絡的激活函數的輸入劃分為大于等于零和小于零的數據范圍；S3、針對大于等于零的數據范圍，生成半飽和激活函數必須滿足的第一選擇條件；S4、依據第一選擇條件，選擇一個非飽和的激活函數作為神經網絡的半飽和激活函數的第一組成部分；S5、針對小于零的數據范圍，生成半飽和激活函數必須滿足的第二選擇條件；S6、依據第二選擇條件，構造一個飽和的激活函數作為神經網絡的半飽和激活函數的第二組成部分，本發明在相同神經網絡下，能表現出更好的收斂速度和穩定性。

技術領域

本發明屬于神經網絡技術領域，具體涉及一種改進型的神經網絡半飽和激活函數模型的設計方法。

背景技術

神經網絡模型由于具有高度的非線性擬合能力而成為目前較為熱門的研究和應用領域之一，神經網絡的最大優勢在于允許建立多個隱藏層組成一個抽象的串并聯神經元網絡對未知復雜關聯度的數據之間進行特征學習和表達，而不必對數據間的關聯方式進行關心和特征描述，其中，在所有不同類型的神經網絡模型中，激活函數是建立其描述非線性特征功能的一個重要函數模型，然而，現有技術中的飽和函數在近飽和態區間的一階導數過小，以及現有技術中的整流函數的非正區間零梯度的存在，這兩種常見的激活函數的深層網絡模型往往容易導致反向傳播時神經元權重更新停滯和神經元大量靜默的情況出現，從而影響到神經網絡模型的穩定性和收斂效率，降低神經網絡模型整體的魯棒性。

發明內容

針對上述提出的技術問題，本發明提供一種改進型的神經網絡半飽和激活函數模型的設計方法，旨在改進飽和型激活函數和非飽和型激活函數各自的問題，并且對于實際的遙感數據分別使用半飽和激活函數和傳統激活函數進行多類目標地物的識別驗證，具體來驗證改進型的激活函數在提升神經網絡的訓練速度、收斂效率，及穩定性方面相較于傳統激活函數的優勢。

為了達到上述的發明目的，給出如下所述的一種改進型的神經網絡半飽和激活函數模型的設計方法，具體通過以下的步驟來實現：

步驟一、在神經網絡模型進行反向傳播時，計算神經網絡模型的相鄰兩層之間的連接權重梯度，并且將所述連接權重梯度分解為權值累積影響因子和激活函數導數累積影響因子的乘積；

步驟二、將神經網絡模型的激活函數的輸入變量劃分為大于等于零的數據范圍和小于零的數據范圍；

步驟三、針對所述大于等于零的數據范圍，為避免由所述激活函數導數累積影響因子而引起的神經網絡模型的訓練停滯，生成神經網絡模型的激活函數所必須滿足的第一選擇條件；

步驟四、依據所述第一選擇條件，選擇一個非飽和型的激活函數作為神經網絡模型的激活函數的第一組成部分；

步驟五、針對所述小于零的數據范圍，為避免神經網絡模型在反向傳播的過程中發生所述連接權重梯度消失的問題，生成神經網絡模型的激活函數所必須滿足的第二選擇條件；

步驟六、依據所述第二選擇條件，并且避免神經網絡模型在反向傳播過程中發生所述連接權重梯度的急劇增大，同時還避免神經網絡模型在梯度下降過程中發生收斂路徑的震蕩，構造一個飽和型的激活函數作為神經網絡模型的激活函數的第二組成部分；

所述神經網絡模型的激活函數為半飽和型，具體可以描述為如下的公式:

其中，τ(x)為激活函數，x為激活函數的輸入變量，a,b分別為構成激活函數的參數。

與現有技術相比，本發明的有益效果至少如下所述：