[發(fā)明專利]一種文本分類方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310009087.4
• 申請日: 2013-01-10
• 公開（公告）號: CN103927302B
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計）人: 陳俊波;李華康;曾鵬程;薛貴榮
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司11315
• 代理人: 許志勇

1.一種文本分類系統(tǒng)，其特征在于，包括：

關(guān)聯(lián)規(guī)則庫生成模塊(201)，通過從具有類目關(guān)聯(lián)規(guī)則的資源提取詞條以及所述詞條之間的關(guān)聯(lián)規(guī)則，以生成類目關(guān)聯(lián)規(guī)則庫；

基礎(chǔ)類目詞庫生成模塊(202)，基于已有各領(lǐng)域的基礎(chǔ)類目生成基礎(chǔ)類目詞庫；

文本預(yù)處理模塊(203)，用于對測試文本進(jìn)行預(yù)處理，以提取文本特征詞條；

規(guī)則剪枝模塊(204)，比對所述基礎(chǔ)類目詞庫中的詞條和所述類目關(guān)聯(lián)規(guī)則庫中的詞條，利用所述類目關(guān)聯(lián)規(guī)則庫中的詞條的關(guān)聯(lián)規(guī)則，對所述基礎(chǔ)類目詞庫中的詞條進(jìn)行權(quán)重計算，并計算所述類目關(guān)聯(lián)規(guī)則庫中的詞條權(quán)重；

分類器模塊(205)，基于所述基礎(chǔ)類目詞庫中的詞條的權(quán)重、所述類目關(guān)聯(lián)規(guī)則庫中的詞條的權(quán)重及提取的所述文本特征詞條，對所述測試文本進(jìn)行分類。

2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，

所述資源包括：百科知識庫和數(shù)字圖書館系統(tǒng)中的至少一個；

所述基礎(chǔ)類目詞庫中的詞條的權(quán)重計算是基于該詞條在所述基礎(chǔ)類目詞庫中的各類目中出現(xiàn)的頻度；

所述詞條之間的關(guān)聯(lián)規(guī)則結(jié)構(gòu)包括：樹型結(jié)構(gòu)、鏈型結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)中至少一種。

3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述關(guān)聯(lián)規(guī)則庫生成模塊(201)進(jìn)一步被配置成：使用爬蟲程序生成所述類目關(guān)聯(lián)規(guī)則庫。

4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述規(guī)則剪枝模塊(204)進(jìn)一步被配置成：將所述類目關(guān)聯(lián)規(guī)則庫中的詞條與所述基礎(chǔ)類目詞庫中的詞條比對，如果所述類目關(guān)聯(lián)規(guī)則庫中的詞條存在于所述基礎(chǔ)類目詞庫中，則根據(jù)所述基礎(chǔ)類目詞庫中的詞條的權(quán)重對所述關(guān)聯(lián)規(guī)則庫中的詞條進(jìn)行權(quán)重賦值。

5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述規(guī)則剪枝模塊(204)進(jìn)一步被配置成：如果所述類目關(guān)聯(lián)規(guī)則庫中的詞條不存在于所述基礎(chǔ)類目詞庫中，則根據(jù)在所述類目關(guān)聯(lián)規(guī)則庫中的該詞條、與存在于所述基礎(chǔ)類目詞庫中的所述類目關(guān)聯(lián)規(guī)則庫中的其他詞條的詞條關(guān)聯(lián)規(guī)則進(jìn)行權(quán)重計算。

6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，

所述詞條關(guān)聯(lián)規(guī)則包括詞條之間：一對一關(guān)系或一對多關(guān)系；

所述關(guān)聯(lián)規(guī)則庫中的權(quán)重計算考慮所述類目關(guān)聯(lián)規(guī)則庫中各節(jié)點間的深度比重或深度權(quán)值；

所述類目關(guān)聯(lián)規(guī)則庫中的詞條的權(quán)重計算通過迭代算法進(jìn)行。

7.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述分類器模塊(205)為樸素貝葉斯分類器，所述基礎(chǔ)類目詞庫中的詞條的權(quán)重、所述類目關(guān)聯(lián)規(guī)則庫中的詞條的權(quán)重作為所述分類器的先驗條件概率，對所述測試文本進(jìn)行分類。

8.一種文本分類方法，其特征在于，包括：

從具有類目關(guān)聯(lián)規(guī)則的資源提取詞條以及所述詞條之間的關(guān)聯(lián)規(guī)則，以生成類目關(guān)聯(lián)規(guī)則庫；

基于已有各領(lǐng)域的基礎(chǔ)類目，生成基礎(chǔ)類目詞庫；

預(yù)處理測試文本，提取測試文本的特征詞條；

比對所述基礎(chǔ)類目詞庫中的詞條和所述類目關(guān)聯(lián)規(guī)則庫中的詞條，利用所述類目關(guān)聯(lián)規(guī)則庫中的詞條的關(guān)聯(lián)規(guī)則，對所述基礎(chǔ)類目詞庫中的詞條進(jìn)行權(quán)重計算，并計算所述關(guān)聯(lián)規(guī)則庫中的詞條權(quán)重；

使用分類器，基于所述基礎(chǔ)類目詞庫中的詞條的權(quán)重、所述類目關(guān)聯(lián)規(guī)則庫中的詞條的權(quán)重及提取的所述文本特征詞條，對所述測試文本進(jìn)行分類。

9.如權(quán)利要求8所述的方法，其特征在于，

所述資源包括百科知識庫和數(shù)字圖書館系統(tǒng)中的至少一個；

所述基礎(chǔ)類目詞庫中的詞條的權(quán)重計算是基于該詞條在所述基礎(chǔ)類目詞庫中的各類目中出現(xiàn)的頻度；

所述詞條之間的關(guān)聯(lián)規(guī)則結(jié)構(gòu)包括：樹型結(jié)構(gòu)、鏈型結(jié)構(gòu)和網(wǎng)狀結(jié)構(gòu)中至少一種。

10.如權(quán)利要求8所述的方法，其特征在于，所述類目關(guān)聯(lián)規(guī)則庫是由爬蟲程序提取生成。

11.如權(quán)利要求8所述的方法，其特征在于，將所述類目關(guān)聯(lián)規(guī)則庫中的詞條與所述基礎(chǔ)類目詞庫中的詞條比對，如所述類目關(guān)聯(lián)規(guī)則庫中的詞條存在于所述基礎(chǔ)類目詞庫中，則根據(jù)所述基礎(chǔ)類目詞庫中的詞條的權(quán)重對所述關(guān)聯(lián)規(guī)則庫中的詞條進(jìn)行權(quán)重賦值。