[發明專利]基于三支決策的神經網絡拓撲結構優化方法

有效

• 申請號: 202011506747.6
• 申請日: 2020-12-18
• 公開（公告）號: CN112580785B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 成淑慧;武優西;邢歡;馬鵬飛;孟玉飛;楊克帥;王珍
• 申請（專利權）人: 河北工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于三支決策的神經網絡結構優化方法，其特征在于，該方法包括以下內容：

初始化一個隱藏層結點，利用Focal loss函數和Adam算法實現神經網絡的學習過程；

針對神經網絡訓練階段的錯分樣本，使用三支決策理論，在最小決策風險損失的情況下，將樣本劃分至不同的域，并采取相應的策略，當邊界域不為空集時，依次增加神經網絡的隱藏層結點數目，直至邊界域是空集時，停止模型的增長，獲得神經網絡的隱藏層結點數目；

在確定神經網絡中隱藏層結點數目后，計算輸入層到隱藏層、隱藏層到輸出層的權重和偏置，從而確定神經網絡的拓撲結構；

該優化方法用于Online News Popularity數據的分類中，具體過程是：

步驟1：初始化參數

對二分類共有39797條的數據集Online News Popularity，按照8∶1∶1的比例將其劃分為大小為(31837，61)的訓練集、大小為(3980，61)驗證集和大小為(3980，61)測試集；選擇激活函數為Swish函數和初始化參數服從正態分布的情形，并初始化神經網絡的權重和偏置；

步驟2：神經網絡結構為SFNN，設置一個隱藏層結點，在訓練集上實現神經網絡的學習過程

步驟2-1：神經網絡的前向學習過程

在激活函數為Swish函數和初始化參數服從正態分布的情形下，獲得訓練集上的神經網絡算法的預測標簽，計算并返回網絡的Focal loss值、準確率、加權F1-score值；

步驟2-2：神經網絡的誤差反向傳播過程

采用Adam算法優化神經網絡的權重和偏置，包括輸入層和隱藏層之間的權重和偏置、隱藏層到輸出層之間的權重和偏置；

每次更新權重和偏置參數后，計算驗證集上的神經網絡的準確率，并返回在驗證集上表現最優的權重w_best和偏置b_best；

步驟2-3：在最優權重和最優偏置參數下，再次計算訓練集的準確率、加權F1-score值：

在計算訓練集的準確率、加權F1-score值后，返回訓練集中的錯分樣本；所有錯分樣本構成錯分樣本集，其中錯分樣本是指在最優權重和偏置下經過當前神經網絡輸出仍未正確分類的樣本，錯分樣本集是指所有錯分樣本構成的集合

步驟3：在錯分樣本集上實現三支決策的學習過程

步驟3-1：采用Kmeans++算法進行離散化處理，直到所有數據均為整型數據；

步驟3-2：獲得在樣本實例的等價類和標簽的等價類兩者的基礎上的條件概率；數據集是二分類問題，即標簽取值為{+1}或{-1}，首先針對樣本和標簽分別劃分等價類，即元素相同的樣本或標簽被劃分至同一個集合中，不同的集合構成樣本或標簽的等價類[x]；

步驟3-3：初始化三支決策的閾值參數(α，β，γ)，根據步驟3-2的條件概率，構建閾值參數組合；構建閾值參數組合為；

(1)當P(X|[x])＝0時，由于三支決策的閾值需要滿足0＜β＜γ＜α＜1的大小關系，而當條件概率替換α(β)時，會造成P(X|[x])＝α(β)＝0的情形，這與閾值滿足的大小關系是相矛盾的，因此，當條件概率替換α(β)時要保留原閾值參數；

(α′，β，γ)＝(α，β，γ)

(α，β′，γ)＝(α，β，γ)

(α，β，γ′)＝(α-β，0*，γ-β)

(2)當P(X|[x])＝1時，

(3)當0＜P(X|[x])＜1時，

其中，P是步驟3-2求得的條件概率，“’”的含義是根據等距離縮放原則替換后的相應閾值，“*”表示不取到該值，且為0～1之間的數；

步驟3-4：對閾值參數組合進行篩選，只保留具有唯一性的閾值參數組合，并計算參數組合下的決策風險損失，輸出最小決策風險損失對應的最佳閾值(α′，β′，γ′)；

計算決策風險損失；

根據Bayes決策理論，構建三支決策理論的風險損失函數：

s.t.0＜β＜γ＜α＜1，ε≥1

其中，P_i是求得的條件概率不小于閾值α的概率值，i∈(1，r)，其中r是求得的條件概率中不小于閾值α的概率個數；P_j是求得的條件概率不大于閾值β的概率值，j∈(1，s)，其中s是求得的條件概率中不大于閾值α的概率個數；P_k是求得的條件概率大于閾值β且小于閾值α的概率值，k∈(1，t)，其中t是求得的條件概率中大于閾值β且小于閾值α的概率個數；

根據Bayes決策準則，需要選擇期望損失最小的行動集作為最佳行動方案，則最優分類決策規則為

(P)若P(X|[x])≥α′，則x∈POS(X)；

(B)若β′＜P(X|[x])＜α′，則x∈BND(X)；

(N)若P(X|[x])≤β′，則x∈NEG(X)；

于是，基于決策粗糙集的三支決策語義可以描述為規則(P)表示：若在[x]的描述下，X發生的概率大于閾值α，將[x]劃分到X的正域中，表示接受該決策；

規則(B)表示：若在[x]的描述下，X發生的概率介于閾值α和β之間，將[x]劃分到X的邊界域中，此時決策依據不足，需收集更多信息以便做出正確決策；

規則(N)表示：若在[x]的描述下，x發生的概率小于閾值β，將[x]劃分到X的負域中，表示拒絕該決策；

步驟3-5：根據條件概率和閾值參數之間的關系，將樣本劃分到不同的域：POS正域、BND邊界域、NEG負域，采取相對應的不同策略：接受該標簽、延遲決策、拒絕該標簽；

步驟3-6：當時，再添加一個隱藏層結點數目，并轉至步驟3；當時，轉至步驟4；

步驟4：在確定神經網絡中隱藏層結點數目后，計算輸入層到隱藏層、隱藏層到輸出層的權重和偏置，從而確定神經網絡的拓撲結構；

計算加權后的權重w_best和偏置b_best，以權重w_best的計算過程為例，計算公式是：

其中，當j＝1時，為神經網絡中由輸入層到隱藏層之間的最優權重，為第i次向神經網絡中添加的由輸入層到隱藏層之間的權重；同理，當j＝2時，為神經網絡中由隱藏層到輸出層之間的最優權重，為第i次向神經網絡中添加的由隱藏層到輸出層之間的權重；σ_i是第i次添加隱藏層結點后學習到網絡的結點權重時處理的樣本量在總訓練集的占例，且N為添加隱藏層結點的次數，偏置b_best也按照上述方式類似獲得；

步驟5：在測試集上，最優的權重w_best和偏置b_best計算TWD-SFNN算法的預測標簽，返回測試集上的Focal loss值、準確率、加權F1-score值。

2.根據權利要求1所述的方法，其特征在于，該方法用于分類的數據集中。