[發明專利]一種可擴展的自適應寬度神經網絡學習方法

在審

• 申請號: 202110278923.3
• 申請日: 2021-03-16
• 公開（公告）號: CN112966761A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 席江波;姜萬冬;謝大帥;叢銘;房建武;吳田軍;趙超英
• 申請（專利權）人: 長安大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 西安睿通知識產權代理事務所(特殊普通合伙) 61218
• 代理人: 惠文軒

1.一種可擴展的自適應寬度神經網絡學習方法，其特征在于，所述自適應寬度神經網絡包括P個MWRBF網絡，對應對待學習數據集學習P次；

第一個MWRBF網絡學習待學習數據集的標簽，第二個MWRBF網絡在相同的待學習數據集上學習第一個MWRBF網絡的剩余誤差，以此類推，直到第P個MWRBF網絡在相同的待學習數據集上學習第(P-1)個MWRBF網絡的剩余誤差；在自適應寬度神經網絡中，每個MWRBF網絡分別對應不同的學習任務，不同MWRBF網絡之間以級聯方式組織學習過程。

2.根據權利要求1所述的可擴展的自適應寬度神經網絡學習方法，其特征在于，對于某一學習階段的P個MWRBF網絡h₁，h₂，...，h_P，下采樣后到P個MWRBF網絡的線性層的輸出為Φ₁，Φ₂，...，Φ_P，設期望輸出為數據集D，則自適應寬度神經網絡的輸出Y為：

Y＝ΦW＝[Φ₁，Φ₂，…，Φ_P]W＝Φ₁W₁+Φ₂W₂+…+Φ_PW_P；

其中，W＝[W₁，W₂，…，W_P]，為全連接層的權值矩陣。

3.根據權利要求1所述的可擴展的自適應寬度神經網絡學習方法，其特征在于，所述學習方法的具體過程為：設訓練周期為N_c，將當前訓練周期對應的剩余誤差作為下一訓練周期的初始期望輸出，逐次減小訓練的剩余誤差；

對于每個訓練周期，按以下步驟進行：

(1)對待學習數據集中的數據進行清洗操作即隨機排序，再把待學習數據集X按順序劃分為N_b個訓練子集，相鄰兩個訓練子集之間的重疊因子為λ，0＜λ＜1；

(2)將第一個訓練子集輸入第一個MWRBF網絡中，以對應的數據標簽為期望輸出，對第一個MWRBF網絡的網絡權值進行更新，并得到其網絡輸出對應的第一剩余誤差；將該第一剩余誤差作為第二個MWRBF網絡的期望輸出，同時將第一個訓練子集輸入第二個MWRBF網絡中，對第二個MWRBF網絡的網絡權值進行更新，并得到其網絡輸出對應的第二剩余誤差；將該第二剩余誤差作為第二個MWRBF網絡的期望輸出，同時將第一個訓練子集輸入第三個MWRBF網絡中；以此類推，直到得到第P個MWRBF網絡輸出對應的第P剩余誤差，完成一次迭代過程；

(3)將前一次迭代得到的剩余誤差作為下一次迭代中的第一個MWRBF網絡的期望輸出，重復步驟(2)的迭代過程，直到達到迭代終止條件；

(4)對于剩余的(N_b-1)個訓練子集，按順序依次執行步驟(2)和步驟(3)，即完成一個訓練周期的學習。

4.根據權利要求3所述的可擴展的自適應寬度神經網絡學習方法，其特征在于，所述迭代終止條件為訓練后的網絡對驗證集的識別精度連續ε次均不再增長，3≤ε≤10，且為整數。

5.根據權利要求4所述的可擴展的自適應寬度神經網絡學習方法，其特征在于，所述驗證集為在學習任務開始前從原始待學習數據集中按比例取出的數據，即原始待學習數據集按比例劃分為訓練集和驗證集，訓練集即為待學習數據集。