[發(fā)明專利]一種基于改進(jìn)網(wǎng)格搜索算法的SVM參數(shù)優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910947756.X
• 申請(qǐng)日: 2019-10-08
• 公開(kāi)（公告）號(hào): CN110837845A
• 公開(kāi)（公告）日: 2020-02-25
• 發(fā)明（設(shè)計(jì)）人: 徐東;溫慧;王燊;孟宇龍;張子迎;潘思辰;王志文;關(guān)智允
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明涉及數(shù)據(jù)挖掘技術(shù)領(lǐng)域，具體涉及支持向量機(jī)參數(shù)優(yōu)化的一種基于改進(jìn)網(wǎng)格搜索算法的SVM參數(shù)優(yōu)化方法。本方法初始化分類器和粒子群算法的相關(guān)參數(shù)，選擇對(duì)分類器性能影響較大的參數(shù)作為待優(yōu)化參數(shù)，由粒子群算法獲得全局最優(yōu)參數(shù)或局部最優(yōu)參數(shù)；求得的最優(yōu)參數(shù)作為目標(biāo)點(diǎn)，初始化網(wǎng)格搜索的空間范圍參數(shù)和網(wǎng)格搜索過(guò)程中的搜索步長(zhǎng)參數(shù)，以及其他變量；在選定的范圍內(nèi)進(jìn)行網(wǎng)格搜索，采用k?cv交叉驗(yàn)證，重新獲得該范圍內(nèi)的最優(yōu)參數(shù)。本發(fā)明改進(jìn)了傳統(tǒng)的網(wǎng)格搜索算法，克服了在選取搜索區(qū)間時(shí)存在的盲目性以及經(jīng)驗(yàn)性問(wèn)題，改善了在數(shù)據(jù)量較大的情況下該方法存在的時(shí)間消耗大的問(wèn)題，使時(shí)間消耗與分類性能達(dá)到一個(gè)相對(duì)平衡的狀態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘技術(shù)領(lǐng)域，具體涉及支持向量機(jī)參數(shù)優(yōu)化的一種基于改進(jìn)網(wǎng)格搜索算法的SVM參數(shù)優(yōu)化方法。

背景技術(shù)

近年來(lái)，隨著互聯(lián)網(wǎng)行業(yè)的發(fā)展，各行各業(yè)中積累了大量數(shù)字化數(shù)據(jù)，這些數(shù)據(jù)中包含著大量的有用信息，從這些海量數(shù)據(jù)中總結(jié)規(guī)律，提取出對(duì)人類有用的信息已成為數(shù)字化時(shí)代人們重要的研究?jī)?nèi)容。

而數(shù)據(jù)分類作為數(shù)據(jù)挖掘中的一個(gè)重要任務(wù)或過(guò)程，是利用分類算法對(duì)已有的帶有類別信息的數(shù)據(jù)進(jìn)行學(xué)習(xí)或訓(xùn)練，探求其中的潛在規(guī)律，然后利用這種規(guī)律對(duì)新的未知數(shù)據(jù)進(jìn)行類別分析或預(yù)測(cè)。

支持向量機(jī)(Support Vector Machine,SVM)作為數(shù)據(jù)挖掘中應(yīng)用最為廣泛的的分類算法，能夠很好地解決非線性、小樣本、過(guò)學(xué)習(xí)、維數(shù)災(zāi)難等問(wèn)題，它的主要思想是通過(guò)尋找不同類別之間的最優(yōu)分類超平面將數(shù)據(jù)區(qū)分開(kāi)來(lái)，且要滿足分類間隔最大。但傳統(tǒng)的支持向量機(jī)對(duì)內(nèi)部參數(shù)的依賴性很強(qiáng)，其中的核參數(shù)g與懲罰參數(shù)C更是直接決定了支持向量機(jī)性能的優(yōu)劣。所以優(yōu)化向量機(jī)的參數(shù)成為了人們研究的重點(diǎn)問(wèn)題。目前針對(duì)參數(shù)優(yōu)化問(wèn)題，已經(jīng)提出了多種算法，包括利用網(wǎng)格搜索算法、粒子群算法(Particle swarmoptimization,PSO)、遺傳算法、蟻群算法等。這些方法在一定程度上提升了SVM的分類性能，但仍存在一定的缺陷。粒子群算法雖然收斂速度快且搜索能力強(qiáng)，但容易出現(xiàn)局部最優(yōu)的問(wèn)題；網(wǎng)格搜索算法雖然進(jìn)行全局搜索保證得到全局最優(yōu)參數(shù)，但搜索速度慢，性能低。因此，本發(fā)明提出了一種改進(jìn)的網(wǎng)格搜索算法，將粒子群算法與網(wǎng)格搜索算法相結(jié)合，可以提升算法整體的搜索性能，以較快的速度在合適的時(shí)間消耗內(nèi)找到滿足分類準(zhǔn)確性要求的最佳參數(shù)，使分類性能與時(shí)間消耗達(dá)到均衡和最佳狀態(tài)。

傳統(tǒng)的網(wǎng)格搜索算法中，對(duì)于搜索區(qū)間的選取帶有一定的經(jīng)驗(yàn)性及盲目性。盲目將搜索區(qū)間選的過(guò)大，在數(shù)據(jù)量很大的情況下將以大量的時(shí)間消耗為代價(jià)，無(wú)法滿足時(shí)間性能上的要求；而將區(qū)間選的過(guò)小，將造成無(wú)法尋得最優(yōu)參數(shù)，無(wú)法滿足分類準(zhǔn)確性上的性能要求。而根據(jù)合適的區(qū)間選取搜索范圍帶有一定的經(jīng)驗(yàn)性和針對(duì)性，無(wú)法滿足大多數(shù)情況下網(wǎng)格尋優(yōu)的區(qū)間范圍選擇。并且，大小范圍不同的搜索區(qū)間對(duì)應(yīng)的搜索步長(zhǎng)大小也將影響最優(yōu)參數(shù)的選擇以及時(shí)間的消耗。

處于對(duì)時(shí)間性能以及分類性能的雙重考慮，本發(fā)明改進(jìn)的網(wǎng)格搜索算法在搜索區(qū)間的選擇上擺脫了經(jīng)驗(yàn)性與盲目性的困擾。根據(jù)已有的粒子群算法，以其計(jì)算得到的局部最優(yōu)或全局最優(yōu)參數(shù)為搜索區(qū)間的中心點(diǎn)，根據(jù)一定的規(guī)則不斷更新網(wǎng)格搜索的范圍，從小區(qū)間到大區(qū)間逐步搜索，既克服了局部最優(yōu)的缺點(diǎn)，也避免了全局大面積搜索帶來(lái)的時(shí)間消耗，最終找到滿足時(shí)間性能與分類性能的最佳參數(shù)組合。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于改進(jìn)網(wǎng)格搜索算法的SVM參數(shù)優(yōu)化方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

一種基于改進(jìn)網(wǎng)格搜索算法的SVM參數(shù)優(yōu)化方法，包括如下步驟：

步驟1：初始化分類器和粒子群算法的相關(guān)參數(shù)，選擇對(duì)分類器性能影響較大的參數(shù)作為待優(yōu)化參數(shù)，由粒子群算法獲得全局最優(yōu)參數(shù)或局部最優(yōu)參數(shù)；

步驟2：將步驟1中求得的最優(yōu)參數(shù)作為目標(biāo)點(diǎn)，初始化網(wǎng)格搜索的空間范圍參數(shù)和網(wǎng)格搜索過(guò)程中的搜索步長(zhǎng)參數(shù)，以及其他變量；