[發(fā)明專(zhuān)利]一種新型多類(lèi)支持向量機(jī)分類(lèi)結(jié)果的最終決策方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111192559.5
• 申請(qǐng)日: 2021-10-13
• 公開(kāi)（公告）號(hào): CN113723569A
• 公開(kāi)（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 王立國(guó);孫赫廷;劉丹鳳;肖瑛;薄純娟;劉海濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 大連民族大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京圣州專(zhuān)利代理事務(wù)所(普通合伙) 11818
• 代理人: 王振佳

本發(fā)明公開(kāi)了一種新型多類(lèi)支持向量機(jī)分類(lèi)結(jié)果的最終決策方法，包括以下步驟：S1、設(shè)原始訓(xùn)練樣本為x_i,i＝1,2,…k，類(lèi)別數(shù)目為N，訓(xùn)練判別器時(shí)正類(lèi)類(lèi)別標(biāo)簽為L(zhǎng)₁，負(fù)類(lèi)類(lèi)別標(biāo)簽為L(zhǎng)₂，子判別器數(shù)量為M，利用訓(xùn)練樣本及其類(lèi)別標(biāo)簽信息訓(xùn)練得到結(jié)果不做二值量化的M個(gè)判別函數(shù)，分別記為f₁(·),f₂(·),…,f_M(·)；S2、記若對(duì)應(yīng)類(lèi)別j，則規(guī)定其類(lèi)別標(biāo)簽為j(j∈{1,2,…,N})，利用訓(xùn)練樣本及其類(lèi)別標(biāo)簽信息訓(xùn)練得到結(jié)果已做N值量化的最終決策判別器，決策判別器的輸出結(jié)果f(·)即為相應(yīng)樣本的類(lèi)別判別結(jié)果。本發(fā)明采用上述新型多類(lèi)支持向量機(jī)分類(lèi)結(jié)果的最終決策方法，相對(duì)于傳統(tǒng)決策方法，分類(lèi)精度均能夠達(dá)到更高的分類(lèi)準(zhǔn)確率，其中在使用線(xiàn)性核的情況下，新決策方法的效果提升更為顯著。

技術(shù)領(lǐng)域

本發(fā)明涉及一種分類(lèi)技術(shù)，尤其涉及一種新型多類(lèi)支持向量機(jī)分類(lèi)結(jié)果的最終決策方法。

背景技術(shù)

與其他傳統(tǒng)分類(lèi)學(xué)習(xí)技術(shù)相比，支持向量計(jì)算機(jī)SVM具備了精度高、計(jì)算速率快、泛化性能強(qiáng)等優(yōu)勢(shì)。SVM的工作機(jī)理可概括為：尋找一個(gè)分類(lèi)超平面，此平面不僅使得訓(xùn)練樣本中的兩類(lèi)樣本點(diǎn)能被分開(kāi)，并且距離該平面盡可能地遠(yuǎn)；而對(duì)線(xiàn)性不可分的問(wèn)題，則可通過(guò)核函數(shù)將低維輸入空間的數(shù)據(jù)映射到高維空間，以便將原低維空間的線(xiàn)性不可分問(wèn)題轉(zhuǎn)化為高維空間上的線(xiàn)性可分問(wèn)題。

對(duì)于線(xiàn)性可分的兩類(lèi)分類(lèi)問(wèn)題，其關(guān)鍵技術(shù)之一是尋找最優(yōu)分類(lèi)超平面，即尋找最優(yōu)線(xiàn)性判別函數(shù)。設(shè)x_i∈R^d為樣本數(shù)據(jù)，y_i∈{+1,-1}為相應(yīng)的類(lèi)別標(biāo)號(hào)，其中i＝1,…,n。線(xiàn)性判別函數(shù)的一般形式為g(x)＝w·x+b，其相應(yīng)的分類(lèi)面為w·x+b＝0。

SVM算法最初的目標(biāo)是為二分類(lèi)問(wèn)題而設(shè)計(jì)的，即一類(lèi)是+1，另外一類(lèi)則是-1，但在現(xiàn)實(shí)中我們需要完成多類(lèi)分類(lèi)，而不是簡(jiǎn)單的兩分類(lèi)，這就需要我們來(lái)構(gòu)造合適的多類(lèi)分類(lèi)器。目前，構(gòu)造支持向量機(jī)的多類(lèi)分類(lèi)器的方式主要有兩種：一種方法是直接方式，即通過(guò)直接地修改目標(biāo)函數(shù)，將多個(gè)被劃分曲面的參數(shù)求解組合起來(lái)形成一個(gè)優(yōu)化問(wèn)題，可分為多個(gè)類(lèi)別。這種方式雖然看似簡(jiǎn)單，但是由于計(jì)算的復(fù)雜性很高，實(shí)現(xiàn)起來(lái)很困難。另一種方法是間接方式，即通過(guò)組合多個(gè)分類(lèi)器和兩個(gè)分類(lèi)器來(lái)實(shí)現(xiàn)多個(gè)分類(lèi)器的構(gòu)建，常見(jiàn)的方式有1-a-1型分類(lèi)器和1-a-r型分類(lèi)器。

1-a-r(one-against-rest)型分類(lèi)器即一對(duì)余型分類(lèi)器。分類(lèi)是通過(guò)贏家通吃策略來(lái)完成的，子分類(lèi)器使用最高輸出函數(shù)來(lái)指定類(lèi)。首先，第一類(lèi)訓(xùn)練標(biāo)記為+1，其他類(lèi)標(biāo)記為-1，這樣經(jīng)過(guò)一次SVM訓(xùn)練就可以得到第一類(lèi)，然后繼續(xù)到其他類(lèi)來(lái)分離第二類(lèi)，以此類(lèi)推直到結(jié)束。這種分類(lèi)方法的優(yōu)勢(shì)之一就是子分類(lèi)器的數(shù)量與分類(lèi)中的數(shù)量相同，數(shù)量也比較少，分類(lèi)的速度也比較快。缺點(diǎn)是每一個(gè)子模型的訓(xùn)練都必須是將所有的樣本都作為一次訓(xùn)練樣本，所以當(dāng)我們要求解二次規(guī)劃中出現(xiàn)的問(wèn)題時(shí)，訓(xùn)練的速度就會(huì)隨之由于訓(xùn)練樣品的數(shù)目增加而出現(xiàn)急劇降低，且添加新類(lèi)別時(shí)，所有模型都需要重新訓(xùn)練。

圖1為1-a-r型分類(lèi)器示意圖，如圖1所示，該方法需要構(gòu)造數(shù)個(gè)兩類(lèi)子分類(lèi)器，將每一類(lèi)與別的類(lèi)別劃分開(kāi)，得到k個(gè)判別函數(shù)，以設(shè)計(jì)所需至少三類(lèi)為例，有1，2，3類(lèi)數(shù)據(jù)，需要構(gòu)造三個(gè)子分類(lèi)器，即1類(lèi)為+1其余為-1，2類(lèi)為+1其余為-1，3類(lèi)為+1其余為-1的三個(gè)子分類(lèi)器。將測(cè)試集輸入這三個(gè)子分類(lèi)器進(jìn)行測(cè)試，取最后輸出值最大的即可能性最大的一類(lèi)作為進(jìn)行測(cè)試的樣本的類(lèi)別。

1-a-1(one-against-one)型分類(lèi)器即一對(duì)一型分類(lèi)器，分類(lèi)是使用最大獲勝投票策略完成的，其中每個(gè)分類(lèi)器將一個(gè)實(shí)例分配到兩個(gè)類(lèi)中的一個(gè)。每個(gè)SVM分類(lèi)器都可以被區(qū)分為兩個(gè)不同的類(lèi)別。數(shù)據(jù)被輸入到這些子分類(lèi)器中，根據(jù)結(jié)果進(jìn)行投票，然后把投票都添加到指定的分類(lèi)中，并根據(jù)投票的數(shù)量確定測(cè)試樣本的類(lèi)別。這種分類(lèi)的優(yōu)點(diǎn)是在訓(xùn)練單個(gè)模型時(shí)相對(duì)較快。添加訓(xùn)練集時(shí)，不需要重新訓(xùn)練所有的支持向量機(jī)，只需要重新訓(xùn)練與新添加的訓(xùn)練集相關(guān)的子類(lèi)。缺點(diǎn)是所需子類(lèi)數(shù)隨著類(lèi)別的增加呈現(xiàn)二次函數(shù)關(guān)系，訓(xùn)練時(shí)間和測(cè)試時(shí)間相對(duì)較慢。