[發(fā)明專(zhuān)利]一種基于模糊支持向量機(jī)的多分類(lèi)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201210495155.8
• 申請(qǐng)日: 2012-11-27
• 公開(kāi)（公告）號(hào): CN103839071A
• 公開(kāi)（公告）日: 2014-06-04
• 發(fā)明（設(shè)計(jì)）人: 汲業(yè);黃曙光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 大連靈動(dòng)科技發(fā)展有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 大連東方專(zhuān)利代理有限責(zé)任公司 21212
• 代理人: 曲永祚

技術(shù)領(lǐng)域

本發(fā)明涉及分類(lèi)方法，特別是一種基于模糊支持向量機(jī)的多分類(lèi)方法。?

背景技術(shù)

早在20世紀(jì)70年代，以V.N.Vapnik為首的一批學(xué)者就開(kāi)始研究在有限樣本情況下的機(jī)器學(xué)習(xí)理論，直到20世紀(jì)90年代中期，有限樣本下的機(jī)器學(xué)習(xí)理論才逐步發(fā)展和成熟起來(lái)，從而形成了一個(gè)比較完善的理論體系--統(tǒng)計(jì)學(xué)習(xí)理論（Statistical?Learning?Theory）。而同時(shí)期在機(jī)器學(xué)習(xí)領(lǐng)域的一些比較流行的方法則遇到一些問(wèn)題的困擾，如在神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)模型結(jié)構(gòu)的確定問(wèn)題、“過(guò)學(xué)習(xí)”問(wèn)題以及局部最小點(diǎn)問(wèn)題等，這在一定程度上給統(tǒng)計(jì)學(xué)習(xí)理論在機(jī)器學(xué)習(xí)領(lǐng)域中受到關(guān)注提供了機(jī)會(huì)。1995年左右，Vapnik等人在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展出了一套新的機(jī)器學(xué)習(xí)方法-支持向量機(jī)（SVMs)。該方法在處理小樣本學(xué)習(xí)問(wèn)題上體現(xiàn)出了較傳統(tǒng)機(jī)器學(xué)習(xí)方法更大的理論優(yōu)勢(shì)，并快速?gòu)V泛的應(yīng)用到模式識(shí)別和函數(shù)擬合上。目前SVM正逐漸成為繼人工神經(jīng)網(wǎng)絡(luò)方法之后在機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)新的研究熱點(diǎn)，由此帶來(lái)的對(duì)該方法的研究和完善必將有力地推動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的重大發(fā)展。?

支持向量機(jī)實(shí)現(xiàn)思想充分體現(xiàn)了統(tǒng)計(jì)學(xué)習(xí)理論中關(guān)于學(xué)習(xí)過(guò)程一致性和結(jié)構(gòu)風(fēng)險(xiǎn)最小化的思想。它的設(shè)計(jì)方法遵循在保持經(jīng)驗(yàn)風(fēng)險(xiǎn)固定（甚至為零）的基礎(chǔ)上最小化置信范圍。SVM的核心思想就是把學(xué)習(xí)樣本非線性映射到高維核空間，在高維核空間創(chuàng)建具低VC維的最優(yōu)分類(lèi)超平面。它通過(guò)綜合考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍的大小，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則取其折衷，從而得到風(fēng)險(xiǎn)上界最小的分類(lèi)函數(shù)。由于經(jīng)典的支持向量機(jī)算法是針對(duì)兩類(lèi)的分類(lèi)問(wèn)題提出的，是一個(gè)典型的二元分類(lèi)器，而在實(shí)際應(yīng)用中，一般要解決的是多元識(shí)別問(wèn)題，為實(shí)現(xiàn)對(duì)k個(gè)類(lèi)別的識(shí)別，需對(duì)SVM進(jìn)行推廣。?

支持向量機(jī)通過(guò)最優(yōu)超平面，將樣本劃分為互相對(duì)立的兩個(gè)類(lèi)。然而在實(shí)際應(yīng)用中，在某些情況下，每個(gè)樣本并不是完全能夠劃歸到某一類(lèi)，即樣本與類(lèi)別之間存在著某種模糊的隸屬關(guān)系，由此，針對(duì)傳統(tǒng)支持向量機(jī)存在的一些?問(wèn)題，許多學(xué)者將模糊理論引入到支持向量機(jī)中，提出了模糊支持向量機(jī)(FSVMs)，它是對(duì)傳統(tǒng)支持向量機(jī)的進(jìn)一步改進(jìn)與完善。?

發(fā)明內(nèi)容

模糊支持向量機(jī)是針對(duì)一對(duì)多組合與一對(duì)一組合支持向量機(jī)存在決策盲區(qū)而提出的。解決在多類(lèi)分類(lèi)問(wèn)題上存在不可分區(qū)域，即對(duì)于訓(xùn)練好的分類(lèi)函數(shù)，可能對(duì)一個(gè)待分?jǐn)?shù)據(jù)無(wú)法進(jìn)行分類(lèi)的問(wèn)題。?

為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：一種基于模糊向量機(jī)的多分類(lèi)方法，包括以下步驟：?

A、使用一對(duì)一組合方法進(jìn)行分類(lèi)?

A1、定義分類(lèi)函數(shù)?

在樣本中單獨(dú)取出第i類(lèi)和第j類(lèi)(1≤i,j≤K)，考慮一個(gè)兩類(lèi)分類(lèi)問(wèn)題，得到分類(lèi)函數(shù)：Dij=wijtg(x)+bij.]]>

A2、定義歸屬度函數(shù)?

定義D_ij=-D_ji，對(duì)于給定數(shù)據(jù)x進(jìn)行分類(lèi)，定義x對(duì)第i類(lèi)的歸屬度：?

Di(x)=Σj≠i,j=1Ksign[Dij(x)]]]>i=1,2,...,K??。?

A3、分類(lèi)?