[發(fā)明專(zhuān)利]一種基于選擇性集成分類(lèi)器的數(shù)據(jù)打標(biāo)簽方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710171617.3
• 申請(qǐng)日: 2017-03-22
• 公開(kāi)（公告）號(hào): CN107133258A
• 公開(kāi)（公告）日: 2017-09-05
• 發(fā)明（設(shè)計(jì)）人: 楊旭川;張桂林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶允升科技有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06F17/27
• 代理公司: 重慶創(chuàng)新專(zhuān)利商標(biāo)代理有限公司50125
• 代理人: 宮兆斌

1.一種基于選擇性集成分類(lèi)器的數(shù)據(jù)打標(biāo)簽方法，其特征是包括以下步驟：

1)生成數(shù)據(jù)訓(xùn)練集：從各個(gè)網(wǎng)站抓取工業(yè)商品詳細(xì)數(shù)據(jù)，生成數(shù)據(jù)訓(xùn)練集，用于選擇性集成分類(lèi)器的基礎(chǔ)數(shù)據(jù)；

2)文本預(yù)處理：對(duì)文本進(jìn)行分詞，過(guò)濾停用詞，同義詞轉(zhuǎn)化，過(guò)濾高頻詞和低頻詞；

3)文本向量化:將文本轉(zhuǎn)化為向量的代數(shù)建模過(guò)程；

4)利用布爾矩陣存儲(chǔ)集成分類(lèi)器對(duì)預(yù)處理的文本進(jìn)行分類(lèi)；

5)從布爾矩陣中篩選出分類(lèi)性能較好的基分類(lèi)器構(gòu)成最終的集成分類(lèi)器：根據(jù)各種基分類(lèi)器的分類(lèi)支持度、分類(lèi)難度、分類(lèi)強(qiáng)度、分類(lèi)精準(zhǔn)度集成選擇性集成分類(lèi)器；

6)建立標(biāo)簽庫(kù)：建立每個(gè)分類(lèi)與標(biāo)簽的映射關(guān)系；

7)接收到選擇性集成分類(lèi)器返回的分類(lèi)結(jié)果，根據(jù)分類(lèi)結(jié)果獲取分類(lèi)的標(biāo)簽。

2.如權(quán)利要求1所述的基于選擇性集成分類(lèi)器的數(shù)據(jù)打標(biāo)簽方法，其特征是：步驟4)按以下步驟實(shí)現(xiàn)：

41)從訓(xùn)練集中訓(xùn)練基分類(lèi)器，再以數(shù)據(jù)集中的樣本為行，基分類(lèi)器為列，基分類(lèi)器對(duì)樣本的分類(lèi)結(jié)果為值來(lái)構(gòu)建分類(lèi)布爾矩陣；其中基分類(lèi)器按照分類(lèi)精度排序，分類(lèi)結(jié)果正確值為1，錯(cuò)誤則為0；

42)計(jì)算行值數(shù)組，再?gòu)臄?shù)組從取出重復(fù)次數(shù)最多的數(shù)值，將其對(duì)應(yīng)的基分類(lèi)器添加到候選集成分類(lèi)器中。當(dāng)重復(fù)次數(shù)一樣時(shí)取較大值；

43)將添加到候選集成分類(lèi)器的分類(lèi)器對(duì)應(yīng)的列置0；

44)通過(guò)計(jì)算公式(a)選擇具有最大評(píng)估值的候選集成分類(lèi)器

Feva(I)=ΣCi∈iSupp(ci)×ΣCi∈iAccu(ci)÷|I|2---(a)]]>

其中，F(xiàn)_eva(I)表示評(píng)估函數(shù)，I表示任意候選集成分類(lèi)器，|I|為候選集成分類(lèi)器中基分類(lèi)器的個(gè)數(shù)，Supp(c_i)為基分類(lèi)器c_i的支持度，Accu(c_i)為基分類(lèi)器的分類(lèi)精度；

其中，基分類(lèi)器的支持度通過(guò)公式(b)計(jì)算：

Supp(c_i)＝R(c_i)/D (b)

其中,Supp(c_i)表示基分類(lèi)器c_i的支持度，R(c_i)為被基分類(lèi)器正確分類(lèi)的樣本數(shù)，D為數(shù)據(jù)集D中的樣本總數(shù)；

其中，分類(lèi)精度通過(guò)公式(c)計(jì)算為：

Accu(c_i)＝Stre(c_i)×supp(c_i) (c)

其中，Accu(c_i)為基分類(lèi)器的分類(lèi)精度；Stre(c_i)為基分類(lèi)器c_i的分類(lèi)強(qiáng)度；supp(c_i)表示基分類(lèi)器c_i的支持度；

其中，分類(lèi)強(qiáng)度通過(guò)計(jì)算公式(d)計(jì)算：

其中，Stre(c_i)表示基分類(lèi)器c_i的分類(lèi)強(qiáng)度,Hard(d_i)為樣本d_i的分類(lèi)難度,D為數(shù)據(jù)集中的樣本總數(shù)；

其中，分類(lèi)難度通過(guò)公式(c)計(jì)算：

Hard(d_i)＝1/(R(C)+1) (c)

其中,Hard(d_i)表示樣本的分類(lèi)難度，R(C)為能夠?qū)颖綿_i正確分類(lèi)的基分類(lèi)器個(gè)數(shù)。