[發明專利]一種基于社會力模型群優化算法的極限學習機的學習方法

在審

• 申請號: 201710818504.8
• 申請日: 2017-09-12
• 公開（公告）號: CN107563518A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 續欣瑩;徐晨晨;陳琪;謝珺
• 申請（專利權）人: 太原理工大學
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06N3/00
• 代理公司: 太原市科瑞達專利代理有限公司14101
• 代理人: 盧茂春

技術領域

本發明屬于人工智能技術領域，涉及一種改進的極限學習機方法，具體涉及一種基于社會力模型群優化算法的極限學習機的學習方法。

背景技術

傳統的基于梯度下降算法神經網絡(如BP神經網絡)已經被廣泛應用于多層前饋神經網絡的訓練中，但是該網絡有收斂速度慢、容易陷入局部極小以及在不同的應用場合下其參數調整復雜等問題。為了克服傳統神經網絡的缺點，2004年，“HUANG G B，ZHU Q Y，SIEW C K.Extreme learning machine:theory and applications.Neurocomputing，2006，70(1-3):489－501”等人提出了一種新型的人工神經網絡模型，即極限學習機(ELM)。它是根據摩爾-彭羅斯(MP)廣義逆矩陣理論提出的一種新的單隱層前饋神經網絡學習算法(single hidden layer fendforward neural network,SLFNs)，ELM應用時需要預先設定隱含層節點數，隨機初始化隱含層節點的參數(輸入節點與隱層節點的連接權值和隱層節點的閾值)，在算法執行過程中不需要調整網絡的輸入權值以及隱層節點的閾值，因此能夠極大地提高網絡的學習速度?！癈ao J,Lin Z,Huang G B.Self-adaptive evolutionary extreme learning machine[J].Neural Processing Letters,2012,36(3):285-305”提出隨機產生隱層節點參數可能會導致網絡的一些隱層節點是無效的或者所起的作用非常小，這使得ELM的穩定性和泛化能力較差。而且HUANG等人指出，為了得到理想的誤差精度，ELM常常需要設定一個較大的隱層節點數。

在過去的幾年，群智能優化算法作為一種全局優化算法被廣泛的用于優化神經網絡的參數。已有大量文獻采用群智能優化算法優化ELM的參數來提高SLFNs的性能?！癕iche Y,Sorjarnaa A,Bas P,et al.OP-ELM:Optimally pruned extreme learning machine[J].IEEE Trans on Neural Networks,2010,21(1):158-162”已經證明基于群智能算法的極限學習機應用在回歸和分類問題上具有很好的性能。例如，“You Xu,Yang Shu,Evolutionary extreme learning machine based on particle swarm optimization,International Symposium on Neural Networks 2006(ISNN2006),LNCS,vol.3971,2006,pp.644–652”提出一種粒子群極限學習機(PSO-ELM)，結合粒子群與ELM兩種算法來提高SLFNs的性能，取得了很好的效果，但是基于PSO的方法全局搜索能力差、易陷入局部最優；“Han F,Yao H F,Ling Q H.An improved evolutionary extreme learning machine based on particle swarm optimization[J].Neurocomputing,2013,116:87-93”介紹了一種改進的粒子群極限學習機(IPSO-ELM)，使用改進的粒子群算法來優化極限學習機的隱層節點參數，其性能比PSO-ELM得到了進一步提高，但是IPSO-ELM的權重是線性減少的，后期導致種群的多樣性降低；“P.Mohapatra,S.Chakravarty,P.K.Dash,An improved cuckoo search based extreme learni ng machine for medical data classification,Swarm and Evolutionary Computati on 24(2015)25–49”提出的ICS-ELM采用改進的布谷鳥搜索算法優化SLFNs的隱層節點參數，利用ELM算法求得SLFNs的輸出權值，從而提高了SLFNs的性能；“Qin A K,Huang V L,Suganthan P N.Differential evolution algorithm with strategy adaptation for global numerical optimization[J].IEEE Trans on Evolutionary Computation,2009,13(2):398-417”提出了一種差分進化極限學習機(DE-ELM)，使用差分進化算法(DE)優化網絡的輸入參數，用ELM算法計算網絡的輸出權重，但是基于DE的方法不能自適應的調整參數和選擇策略，也容易陷入局部最小；“Cao J,Lin Z,Huang G B.Self-adaptive evolutionary extreme learning machine[J].Neural Processing Letters,2012,36(3):285-305”提出了SaE-ELM，采用自適應DE算法優化SLFNs的隱層節點參數，然后采用Moore-Penrose(MP)廣義逆獲得網絡的輸出連接權值，SaE-ELM已經展示出幾個非常好的特性，但是它也存在收斂速度慢，泛化性能不是很好的問題。