[發明專利]一種可擴展的自適應寬度神經網絡學習方法

在審

• 申請號: 202110278923.3
• 申請日: 2021-03-16
• 公開（公告）號: CN112966761A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 席江波;姜萬冬;謝大帥;叢銘;房建武;吳田軍;趙超英
• 申請（專利權）人: 長安大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 西安睿通知識產權代理事務所(特殊普通合伙) 61218
• 代理人: 惠文軒

本發明屬于人工智能技術領域，公開了一種可擴展的自適應寬度神經網絡學習方法，可用于圖像分類任務。它由多個多通道寬RBF神經網絡(MWRBF)組成，每個MWRBF神經網絡可以把重點放在不同的數據上，并且使用高斯核執行非線性變換。可擴展的自適應寬度神經網絡中的MWRBF網絡數量由學習任務自身的規模和難度決定。該網絡采用了可分離的迭代最小二乘訓練方法，從而可以高效地處理高維和大量樣本的數據；本發明的可擴展的自適應寬度神經網絡具有可以進行并行測試的特點。

技術領域

本發明涉及人工智能和機器學習技術領域，具體涉及一種可擴展的自適應寬度神經網絡學習方法。

背景技術

深度卷積神經網絡在圖像、視頻和語音任務方面表現出色，但其他學習模型，例如支持向量機、隨機森林等的應用仍然發揮著重要作用。對于復雜的學習任務，學習模型層數多且具有大量參數，使其具有良好的性能和通用性。但是，深度學習模型由于高度非凸的行為，很難描述其中間的工作原理，而且具有參數量大，訓練時間長的特點。

對于現有深度學習模型，神經網絡訓練好以后，如果輸入數據中含有沒有訓練過的新數據，其很難做出正確的判斷；或者又要對所有數據重新進行學習，使其無法快速有效的進行學習。

增量學習能力作為學習模型的一個重要特征可以克服災難性遺忘。通常，學習模型好的設計目標包括：(1)高效，快速地學習和測試，其中意味著可以用更少的數量來優化架構參數，可以減少和加快訓練時間，測試過程可以并行進行；(2)穩健的泛化能力，這意味著學習模型具有良好的測試以前看不見的數據的性能；(3)通過增量學習來克服災難性的遺忘，其意味著它在學習新知識的同時不會忘記學到的知識(可以終身學習)。

發明內容

針對現有技術存在的問題，本發明的目的在于提供一種可擴展的自適應寬度神經網絡學習方法，能夠處理高維圖像或矢量輸入樣本，多通道寬度徑向基函數網絡(MWRBF)在寬度方向上對輸入樣本進行擴展，并對輸出的多通道求和以減少數據，節省訓練時間；對于較大和較高的高維數據集，該方法可以從數據組織到模型實施應用進行并行學習，大大提高高維數據的學習效率。

為了達到上述目的，本發明采用以下技術方案予以實現。

(一)一種可擴展的自適應寬度神經網絡學習方法，所述自適應寬度神經網絡包括P個MWRBF網絡，對應對待學習數據集學習P次；

第一個MWRBF網絡學習待學習數據集的標簽，第二個MWRBF網絡在相同的待學習數據集上學習第一個MWRBF網絡的剩余誤差，以此類推，直到第P個MWRBF網絡在相同的待學習數據集上學習第(P-1)個MWRBF網絡的剩余誤差；在自適應寬度神經網絡中，每個MWRBF網絡分別對應不同的學習任務，不同MWRBF網絡之間以級聯方式組織學習過程。

進一步地，對于某一學習階段的P個MWRBF網絡h₁，h₂，...，h_P，下采樣后到P個MWRBF網絡的線性層的輸出為Φ₁，Φ₂，...，Φ_P，設期望輸出為數據集D，則自適應寬度神經網絡的輸出Y為：

Y＝ΦW＝[Φ₁，Φ₂，…，Φ_P]W＝Φ₁W₁+Φ₂W₂+…+Φ_PW_P；

其中，W＝[W₁，W₂，…，W_P]，為全連接層的權值矩陣。

進一步地，所述學習方法的具體過程為：設訓練周期為N_c，將當前訓練周期對應的剩余誤差作為下一訓練周期的初始期望輸出，逐次減小訓練的剩余誤差；

對于每個訓練周期，按以下步驟進行：