[發明專利]一種提高二分類支持向量機分類精度的方法

無效

• 申請號: 201210544669.8
• 申請日: 2012-12-13
• 公開（公告）號: CN103065154A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 劉世元;朱金龍;張傳維;陳修國
• 申請（專利權）人: 華中科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 曹葆青

技術領域

本發明屬于分類技術及模式識別領域，具體涉及一種提高二分類支持向量機分類精度的方法。利用本發明方法可以篩選出訓練樣本中的最優維度，剔除訓練樣本集中的劣質訓練樣本，進而從源頭上保證并提高了分類精度。

背景技術

支持向量機是上世紀90年代由Vapnik提出的一種全新的機器學習方法。得益于基于結構風險最小化的設計原理，相較之人工神經網絡等傳統機器學習方法，支持向量機具有更強的泛化能力。并且，支持向量機具有強大的小樣本學習能力。因此，支持向量機自誕生起直到今天依然是一個十分熱門的研究領域。

支持向量機的原始目的是為了解決數據的分類問題，其關鍵在于核函數。通過選取合適的核函數，可以將訓練樣本映射到一個高維空間中。進一步地，通過在此高維空間中找到一個最優分類面，可以最大限度地將訓練樣本分類開來。所謂最大限度，是指能夠保證最大概率地正確分類開來訓練樣本。從統計學的角度上來說，就是對于總數為N的訓練樣本，要求支持向量機正確識別的樣本數量m盡可能地大，最優情況下m＝N。其中，m/N的值被定義為分類精度。因此，如何提高支持向量機的分類精度，已經成為一個值得深入研究的課題。

目前，已有部分相關文獻或專利分別介紹了不同的提高支持向量機分類精確度的方法。其中具有代表性的，如CN101599126A《利用全局互信息加權的支持向量機分類器》提出了一種利用全局互信息相關度來提高分類精度的方法；美國顧永等人(I.Guyon?et?a1.，Mach.Learn.，Vo1.46，pp.389-422，2002)提出了一種迭代剔除不靈敏區間的支持向量機分類精度方法，進而提高了對肝癌細胞的識別精度。上述專利文獻和論文所涉及的提高支持向量機的方法在各自的領域具有一定的代表性。

發明內容

本發明的目的在于提供一種普適性較強的提高二分類支持向量機分類精度的方法，該方法可以保證支持向量機的分類精度。

本發明提供的一種提高二分類支持向量機分類精度的方法，該方法包括下述步驟：

第1步在待分類的樣本空間中獲取訓練樣本，每一類樣本空間對應一個訓練樣本集合，每一個訓練樣本集合中的每一個樣本描述為向量形式，設向量的長度為n，即訓練樣本具有n個維度；每一個訓練樣本集合具有p個訓練樣本，兩個訓練樣本集合則有2p個訓練樣本；

第2步利用訓練樣本集進行支持向量機訓練，當支持向量機訓練完畢，獲取分類邊界權系數向量w，其中w＝[ω₁，ω₂，...，ω_n]，為一個維度為n的向量，其每一個向量分量對應于訓練樣本的一個維度上的數據；

第3步利用第2步中訓練得到的支持向量機對訓練樣本集中的所有訓練樣本進行映射，根據映射結果統計出所有被錯誤識別的訓練樣本，這些被錯誤識別的訓練樣本組成一個錯誤樣本集，該錯誤樣本集被標記為I₁；

第4步按照向量w中的每一個分量的絕對值的大小對向量w中的每一個分量進行排序，向量分量的絕對值越大，其重要性越高；

第5步找出向量w中重要性最小的的分量，剔除掉該最小分量對應的所有訓練樣本數據中那個維度上的數據，從而使所有訓練樣本的維度均減少到n-1；

第6步利用第4步中得到的維度為n-1的所有訓練樣本進行支持向量機訓練，即重復第2步至第5步的過程，重復預先設定m次，即得到m個錯誤樣本集，訓練樣本的維度減少到n-m；

第7步找出m個錯誤樣本集中共同的錯誤訓練樣本，并從第6步中獲得的所有n-m維訓練樣本中剔除掉這些錯誤訓練樣本；對剩余的訓練樣本進行支持向量機訓練，該支持向量機即為最優支持向量機。

本發明提出一種普適性較強的針對二分類支持向量機分類精度提高的方法。該方法在一定程度上挖掘了輸入向量中的最優區間，剔除了輸入向量中的不靈敏區間和對分類精度貢獻度較小的訓練樣本，從而在源頭上保證了支持向量機的分類精度。并且，該方法實現流程簡單，操作方便。

附圖說明

圖1是本發明實例的實現流程圖；

圖2是二分類支持向量機對訓練樣本的分類示意圖；

圖3是訓練樣本存儲矩陣示意圖；

圖4是錯誤分類樣本集示意圖。

具體實施方式