[發明專利]基于小生境粒子群優化算法的分類器集成的多層選擇方法

無效

• 申請號: 200710193876.2
• 申請日: 2007-11-30
• 公開（公告）號: CN101187944A
• 公開（公告）日: 2008-05-28
• 發明（設計）人: 黃德雙;章軍
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F15/18
• 代理公司: 安徽省合肥新安專利代理有限責任公司
• 代理人: 趙曉薇

所屬領域??本發明涉及一種利用小生境粒子群優化算法來構建分類器集成的多層選擇模型，從而能夠提高系統集成的性能，本發明可以廣泛應用于所有需要模式識別的場合。

背景技術??近年來，分類器集成方法在機器學習和數據挖掘領域吸引了越來越多的研究者的重視。研究者們通常認為，一個集成的性能在很大程度上依賴基分類器的兩個方面：一個是基分類器的精確度，另一個是基分類器之間的差異度。一個具有差異度大并且準確的基分類器的集成將肯定具有比單個分類器更好的性能[Kittler，J.，M.Hatef，R.Duin，and?J.Matas，On?Combining?Classifiers.IEEE?Transactions?on?PatternAnalysis?and?Machine?Intelligence，1998.20(3)：p.226-239.]。近十年來，一些研究者已經開發了一些建立差異度大的基分類器方法，其中著名的有隨機子空間方法[Ho，T.K.，The?Random?Space?Method?for?ConstructingDecision?Forests.IEEE?Transactions?on?Pattern?Analysis?and?MachineIntelligence，1998.20(8)：p.832-844.]，Bagging和Boosting方法[Breiman，L.，Bagging?Predictors.Machine?Learning，1996.24(2)：p.123-140.；Kuncheva，L.I.，M.Skurichina，and?R.P.W.Duin，An?experimental?Study?onDiversity?for?Bagging?and?Boosting?with?Linear?Classifiers.InformationFusion，2002.3(2)：p.245-258.]。隨機子空間方法是隨機選擇不同的特征子集來做訓練集以訓練參加集成的基分類器。而Bagging算法則是隨機選擇不同的樣本來做訓練集訓練基分類器。Boosting算法也是使用不同的樣本來構建訓練集，但和Bagging算法不同的是，在Boosting算法中，難以識別的樣本將比容易識別的樣本有更多的機會構成訓練集以訓練參加集成的下一個基分類器。當差異度大的基分類器形成以后，如何選擇不同的基分類器參加集成將變得非常關鍵。一般認為好的組合方法不僅應該具有精度高的基分類器，同時應該具有較高的差異度。通常，這種分類器的選擇稱為集成選擇技術(ensemble?pruning)[Margineantu，D.D.and?T.G.Dietterich.Pruning?Adaptive?Boosting?in?14th?InternationalConference?on?Machine?Learning.1997]。使用分類器集成選擇技術主要有兩方面的原因：首先，選擇部分基分類器集成其性能可能比全部參加集成要好[Zhou，Z.H.，J.X.Wu，and?W.Tang，Ensembling?Neural?Networks：Many?Could?be?Better?than?All.Artificial?Intelligence，2002.137(1-2)：p.239-263.]。另一方面，普通集成方法需要大量的存儲器以存儲基分類器信息，而集成選擇技術則能夠在很大程度上減少這種存儲資源的消耗，這對實際應該是非常有幫助的，能夠進一步提高集成的效率。