[發明專利]基于三支決策的神經網絡拓撲結構優化方法

有效

• 申請號: 202011506747.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112580785B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 成淑慧;武優西;邢歡;馬鵬飛;孟玉飛;楊克帥;王珍
• 申請（專利權）人: 河北工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

本發明涉及基于三支決策的神經網絡拓撲結構優化方法，針對經驗公式法確定神經網絡的隱藏層結點數目，缺乏一定的理論支撐且算法的準確率不高而提出。這是首次將三支決策理論應用到確定神經網絡的隱藏層結點數目的問題。首先，初始化一個隱藏層結點，利用Focal loss損失函數和Adam算法實現神經網絡的學習過程；然后，針對神經網絡訓練階段的錯分樣本，使用三支決策理論，在最小決策風險損失的情況下，將其劃分至不同的域，并采取相應的策略；最后，當邊界域不為空集時，依次增加神經網絡的隱藏層結點數目，直至邊界域是空集時，停止模型的增長，從而確定神經網絡的拓撲結構，同時提高了神經網絡的預測精確度。

技術領域

本發明屬于機器學習領域，設計一種基于三支決策的神經網絡拓撲結構優化方法，該方法能自適應尋找神經網絡隱藏層結點數目，從而實現拓撲結構優化。

背景技術

神經網絡是機器學習的常用算法之一，是一種模仿生物神經網絡結構和功能的數學模型。網絡結構是設計神經網絡算法的關鍵所在，旨在獲得盡可能簡單的結構，同時增強網絡的泛化能力，提高算法的性能。例如，單隱藏層前饋神經網絡是神經網絡及其衍生算法中結構最簡單的網絡，僅僅由輸入層、一個隱藏層和輸出層構成，此時網絡的計算能力主要取決于隱藏層，包括隱藏層的結點數目和激活函數的類型等。一旦確定網絡隱藏層的結點數目，單隱藏層前饋神經網絡的拓撲結構、表征能力等隨之確定。

目前，確定隱藏層的結點數目是默認使用經驗公式：m＝log₂n；其中m為隱藏層的結點數目，n為輸入層的結點數目，l為輸出層的結點數目，α∈(1，10)。使用經驗公式缺乏一定的理論支撐，有時網絡的準確率等性能未必達到要求。

根據網絡生長方式的不同，當前有關網絡拓撲結構的研究主要有增長型神經網絡、修剪型神經網絡和啟發式神經網絡。在增長型神經網絡中，考慮到數據集中難分的樣本，僅僅通過增加隱藏層的結點數目或隱藏層的層數實現對數據集的劃分，大規模地增加了模型的復雜度，更重要的是，降低了模型的高效性。

基于此，有必要設計一種新的增長型網絡拓撲結構優化方法解決上述問題，不僅要在神經網絡的隱藏層結點選擇上有一定的理論支撐，同時還要不影響神經網絡算法本身的復雜度，期望一定程度上能提高神經網絡的準確率等性能。

發明內容

本發明的目的是提供一種基于三支決策的神經網絡拓撲結構優化方法，該方法能夠確定神經網絡隱藏層結點數目，為優化網絡拓撲結構提供一定的理論支撐，同時能提高神經網絡的準確率等性能。

為實現上述發明目的，本發明提供了一種基于三支決策的神經網絡拓撲結構優化方法，首先，初始化一個隱藏層結點，利用Focal loss函數和Adam算法實現神經網絡的學習過程；然后，針對神經網絡訓練階段的錯分樣本，使用三支決策理論，在最小決策風險損失的情況下，將樣本劃分至不同的域，并采取相應的策略；最后，當邊界域不為空集時，依次增加神經網絡的隱藏層結點數目，直至邊界域是空集時，停止模型的增長，從而確定神經網絡的拓撲結構。該方法的具體步驟是：

步驟1：初始化參數

選擇激活函數類型(Sigmoid函數類、Relu函數類)和不同激活函數下初始化參數服從的分布(均勻分布、正態分布)、神經網絡的權重w和偏置b、Focal Loss函數的聚焦參數θ等。

步驟2：確定神經網絡類型，設置一個隱藏層結點，在訓練集和驗證集上實現神經網絡的學習過程，確定在最優權重和最優偏置下訓練集中的錯分樣本

步驟2-1：神經網絡的前向學習過程

選定激活函數和相應地參數初始化方法后，將激活函數作用于訓練集上，獲得神經網絡算法的預測值，并計算神經網絡的Focal loss值、準確率、加權F1-score值；

步驟2-2：神經網絡的誤差反向傳播過程