[發(fā)明專利]一種文本聚類方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710196800.9
• 申請(qǐng)日: 2017-03-29
• 公開（公告）號(hào): CN107103043A
• 公開（公告）日: 2017-08-29
• 發(fā)明（設(shè)計(jì)）人: 王甲樑;孫玉權(quán);夏耘海
• 申請(qǐng)（專利權(quán)）人: 國(guó)信優(yōu)易數(shù)據(jù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06K9/62
• 代理公司: 北京青松知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙)11384
• 代理人: 鄭青松

1.一種文本聚類方法，其特征在于，包括：

S100：數(shù)據(jù)獲取

基于選取的關(guān)鍵詞在選取的爬取網(wǎng)站上爬取相關(guān)數(shù)據(jù)文檔；

S200：數(shù)據(jù)清洗

對(duì)爬取的文檔進(jìn)行去重處理，去掉標(biāo)題相同或者內(nèi)容相同的文檔，以及將剩余的文檔按照文檔篇幅進(jìn)行篩選，去掉小于最小字?jǐn)?shù)閾值和大于最大字?jǐn)?shù)閾值以及與指定主題內(nèi)容不相關(guān)的文檔；

S300：向量特征提取

對(duì)數(shù)據(jù)清洗后的所有文檔進(jìn)行分詞處理并在每篇文檔中提取K個(gè)詞匯作為文本聚類的向量特征；

S400：詞條矩陣建立

基于提取的向量特征，對(duì)所有文檔建立詞條矩陣；

S500：文本聚類

利用預(yù)設(shè)的聚類方法對(duì)文檔進(jìn)行聚類；

S600：聚類結(jié)果分析

將聚類后的每一類的文檔打散重新計(jì)算詞頻，提取每類詞頻數(shù)最高的N個(gè)詞生成預(yù)定表格，以確定每類文檔的主題。

2.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，所述最小字?jǐn)?shù)閾值為50個(gè)字，所述最大字?jǐn)?shù)閾值為5000個(gè)字，所述K個(gè)詞匯為約1000個(gè)詞匯，所述N個(gè)詞約為20個(gè)詞。

3.根據(jù)權(quán)利要求2所述的文本聚類方法，其特征在于，利用詞頻統(tǒng)計(jì)方法來(lái)提取所述向量特征。

4.根據(jù)權(quán)利要求3所述的文本聚類方法，其特征在于，利用詞頻統(tǒng)計(jì)方法來(lái)提取所述向量特征包括：統(tǒng)計(jì)經(jīng)分詞處理后的每篇文檔的詞頻，并將詞頻統(tǒng)計(jì)量按照從大到小的順序進(jìn)行排序，對(duì)排序靠前的高頻詞匯進(jìn)行人工篩選，保留與指定主題有關(guān)的詞匯，選取出頻率最高的1000個(gè)詞匯作為文本聚類的向量特征。

5.根據(jù)權(quán)利要求2所述的文本聚類方法，其特征在于，利用TF-IDF方法來(lái)提取所述向量特征。

6.根據(jù)權(quán)利要求5所述的文本聚類方法，其特征在于，利用TF-IDF方法來(lái)提取所述向量特征包括：根據(jù)下述公式確定經(jīng)分詞處理后的每篇文檔中的每個(gè)詞的ti-idf值然后選取ti-idf值排序靠前的1000個(gè)詞匯作為所述向量特征：

tfidf=nijΣj=1knij×logNmj]]>

其中，i表示第i條文本，j表示該文本中的第j個(gè)詞匯，n表示該詞在該文本中出現(xiàn)的次數(shù)，k表示該文本中一共有k個(gè)特征詞匯，N表示語(yǔ)料庫(kù)中的文本總數(shù)，m表示包含詞語(yǔ)的文本數(shù)目。

7.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，在R語(yǔ)言環(huán)境下，使用jiebaR包對(duì)數(shù)據(jù)清洗后的所有文檔進(jìn)行分詞，以及使用R語(yǔ)言的tm包對(duì)所有文檔建立詞條文檔矩陣。

8.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，利用K-Means聚類法來(lái)對(duì)文檔進(jìn)行聚類。

9.根據(jù)權(quán)利要求1所述的文本聚類方法，其特征在于，使用python或java語(yǔ)言編寫的爬蟲程序在所述爬取網(wǎng)站上來(lái)爬取所述數(shù)據(jù)文檔，并將爬取結(jié)果進(jìn)行保存。