[發(fā)明專利]基于改進(jìn)Adaboost算法的數(shù)據(jù)源分類器構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810318399.6
• 申請(qǐng)日: 2018-04-11
• 公開（公告）號(hào): CN108537279A
• 公開（公告）日: 2018-09-14
• 發(fā)明（設(shè)計(jì)）人: 裘嶸;何文婷;張祖平
• 申請(qǐng)（專利權(quán)）人: 中南大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 長(zhǎng)沙市融智專利事務(wù)所 43114
• 代理人: 龔燕妮

本發(fā)明公開了一種基于改進(jìn)Adaboost算法的數(shù)據(jù)源分類器構(gòu)建方法，通過(guò)弱分類器和強(qiáng)分類器并行訓(xùn)練的方式來(lái)改進(jìn)現(xiàn)有的Adaboost算法，利用強(qiáng)弱分類器互補(bǔ)來(lái)解決傳統(tǒng)Adaboost算法中單個(gè)弱分類器錯(cuò)誤疊加的問(wèn)題，將強(qiáng)弱分類器的優(yōu)勢(shì)互補(bǔ)，從而使得改進(jìn)后的算法對(duì)于數(shù)據(jù)源分類更加準(zhǔn)確，效率更高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)源分類技術(shù)領(lǐng)域，尤其涉及一種基于改進(jìn)Adaboost算法的數(shù)據(jù)源分類器構(gòu)建方法。

背景技術(shù)

Deep Web即“深網(wǎng)”，指互聯(lián)網(wǎng)上那些不能被標(biāo)準(zhǔn)搜索引擎索引的非表面網(wǎng)絡(luò)內(nèi)容。在2000年7月，Bright Planet公司就指出，整個(gè)互聯(lián)網(wǎng)上大約有43000～96000個(gè)Web數(shù)據(jù)庫(kù)，并且將Deep Web與Surface Web進(jìn)行對(duì)比：1、Deep Web蘊(yùn)含的信息量是Surface Web的400～500倍；2、對(duì)Deep Web數(shù)據(jù)的訪問(wèn)量比Surface Web要高出15％；3、Deep Web蘊(yùn)含的信息量比Surface Web的質(zhì)量更高；4、Deep Web的增長(zhǎng)速度要遠(yuǎn)大于Surface Web；5、超過(guò)半數(shù)的Deep Web的內(nèi)容是局限于某個(gè)特定領(lǐng)域的，即面向某個(gè)特定領(lǐng)域。在2004年4月，伊利諾伊大學(xué)厄巴納-香檳分校對(duì)整個(gè)Deep Web做了一次較為準(zhǔn)確的估算，推測(cè)Web上有307000個(gè)提供Web數(shù)據(jù)庫(kù)的網(wǎng)站、450000個(gè)Web數(shù)據(jù)庫(kù)，比Bright planet在2000年估計(jì)的50000個(gè)數(shù)據(jù)庫(kù)網(wǎng)站的數(shù)目增長(zhǎng)了6倍多。可見(jiàn)Deep Web包含豐富的、高質(zhì)量的信息資源，其價(jià)值(數(shù)量和質(zhì)量)遠(yuǎn)超僅由靜態(tài)網(wǎng)頁(yè)構(gòu)成的Surface Web，且增長(zhǎng)速度相對(duì)較快。Deep Web的信息一般存儲(chǔ)在服務(wù)端Web數(shù)據(jù)庫(kù)中，與靜態(tài)頁(yè)面相比信息量更大，主題更專一，信息質(zhì)量更好，信息結(jié)構(gòu)化更好。盡管Deep Web是非常有用的信息源，但準(zhǔn)確的查找到他們是一件非常困難的事情。

為了準(zhǔn)確查找Deep Web上的數(shù)據(jù)，首先必須對(duì)Deep Web數(shù)據(jù)源的內(nèi)容進(jìn)行準(zhǔn)確分類，即準(zhǔn)確的判斷每一個(gè)Deep Web數(shù)據(jù)源的內(nèi)容屬于什么類別，例如，某一Deep Web數(shù)據(jù)源的內(nèi)容屬于旅游類別、還是屬于新聞?lì)悇e等。針對(duì)Deep Web數(shù)據(jù)源分類問(wèn)題，國(guó)內(nèi)外已經(jīng)進(jìn)行了大量的研究。有文獻(xiàn)提出了一種基于K-鄰近算法的Deep Web數(shù)據(jù)源的自動(dòng)分類方法，運(yùn)用K-鄰近算法對(duì)Deep Web數(shù)據(jù)源進(jìn)行自動(dòng)分類，但是該方法比較適用于樣本容量比較大的類域的自動(dòng)分類，而對(duì)于樣本容量較小的類域采用該方法進(jìn)行自動(dòng)分類時(shí)，比較容易產(chǎn)生誤分。還有文獻(xiàn)提出了一種基于查詢接口特征的Deep Web數(shù)據(jù)源的自動(dòng)分類方法，在方案中首先要提取查詢接口的特征，并將之標(biāo)準(zhǔn)化，隨后使用C4.5決策樹分類算法來(lái)對(duì)數(shù)據(jù)源進(jìn)行分類，取得了較高的查全率和查準(zhǔn)率，但是在構(gòu)造樹的過(guò)程中，需要對(duì)數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的效率較低。

但是，上述文獻(xiàn)公開的方案都是采用現(xiàn)有的分類算法對(duì)數(shù)據(jù)源進(jìn)行分類，而沒(méi)有針對(duì)數(shù)據(jù)源數(shù)據(jù)的結(jié)構(gòu)特性對(duì)分類算法進(jìn)行改進(jìn)從而達(dá)到更高的準(zhǔn)確率。同時(shí)，傳統(tǒng)Adaboost算法僅采用弱分類器進(jìn)行迭代訓(xùn)練，而弱分類器多次迭代訓(xùn)練后會(huì)導(dǎo)致錯(cuò)誤的疊加，從而影響分類的準(zhǔn)確性。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中所存在的問(wèn)題，本發(fā)明針對(duì)Deep Web數(shù)據(jù)源是一種半結(jié)構(gòu)化的數(shù)據(jù)類型，具有特征空間高維性、文本特征表示向量稀疏和文本主體特征表現(xiàn)明顯等特點(diǎn)，提出了一種采用強(qiáng)弱分類器并行的方法對(duì)現(xiàn)有的Adaboost算法進(jìn)行改進(jìn)來(lái)構(gòu)建分類器，從而達(dá)到提高數(shù)據(jù)源分類效率的效果。

本發(fā)明提供了一種基于改進(jìn)Adaboost算法的數(shù)據(jù)源分類器構(gòu)建方法，包括：

步驟S1：根據(jù)歷史分類數(shù)據(jù)構(gòu)建樣本數(shù)據(jù)集，并設(shè)置樣本數(shù)據(jù)集中每一組訓(xùn)練樣本數(shù)據(jù)的初始樣本權(quán)重值；

步驟S2：根據(jù)樣本數(shù)據(jù)集抽取訓(xùn)練集；

步驟S3：采用所述訓(xùn)練集分別訓(xùn)練弱分類器和強(qiáng)分類器，并獲取兩個(gè)分類器各自的錯(cuò)誤度；