[發(fā)明專利]海量文本的低成本分類與聚類處理方法

在審

• 申請?zhí)枺?/td>: 201910599746.1
• 申請日: 2019-07-04
• 公開（公告）號: CN110377737A
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計(jì)）人: 陳澤勇;張治同;張莉;姚松
• 申請（專利權(quán)）人: 成都迪普曼林信息技術(shù)有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

本發(fā)明公開了海量文本的低成本分類與聚類處理方法，包括以下步驟：S1：通過預(yù)訓(xùn)練語言模型對海量文本輸入進(jìn)行語言模型預(yù)訓(xùn)練，得到海量文本的原始高維向量表達(dá)；S2：通過PCA主成分分析法對所述原始向量表達(dá)進(jìn)行提取，得到低維向量表達(dá)；S3：將所述低維向量表達(dá)作為分類與聚類處理方法的輸入向量，進(jìn)行分類與聚類。本方法在對海量文本進(jìn)行分類與聚類時(shí)，兼顧了精度與運(yùn)行速度，同時(shí)僅需單服務(wù)器即可實(shí)施，節(jié)約了算力資源。

技術(shù)領(lǐng)域

本發(fā)明涉及文本分類與聚類領(lǐng)域，尤其涉及海量文本的低成本分類與聚類處理方法。

背景技術(shù)

目前在文本分類/聚類領(lǐng)域存在兩種主要的方法，一個(gè)是以IF-TDF技術(shù)為基礎(chǔ)的傳統(tǒng)機(jī)器學(xué)習(xí)方法，該方法是一種統(tǒng)計(jì)方法，用以評估一個(gè)字詞對于一個(gè)文件集或一個(gè)語料庫中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語料庫中出現(xiàn)的頻率成反比下降。該類方法的算法的優(yōu)點(diǎn)是：速度快，消耗算力資源小，短文本效果好；缺點(diǎn)是：由于IF-TDF只統(tǒng)計(jì)詞頻，不考慮語義，因此導(dǎo)致在長文本的分類/聚類時(shí)，準(zhǔn)確性很低，究其根本原因在于對進(jìn)行文本分類/聚類時(shí)，都不可避免的需要計(jì)算各類距離，如歐式距離、海明距離等，在進(jìn)行這些距離計(jì)算時(shí)，如果不考慮文本的語義，是一定會(huì)產(chǎn)生很大誤差的，特別是針對長文本；而且IF-TDF的詞典也不可能太長，否則維度太高，導(dǎo)致無法進(jìn)行計(jì)算。

第二種方法是以word2vector等預(yù)訓(xùn)練的語言模型為基礎(chǔ)的深度學(xué)習(xí)算法，該類方法的相關(guān)算法的優(yōu)點(diǎn)是：由于訓(xùn)練模型以文本語義為基礎(chǔ)，因此無論對長文本還是短文本，分類/聚類的準(zhǔn)確性很高；缺點(diǎn)是：訓(xùn)練語言模型非常消耗算力資源，同時(shí)運(yùn)行預(yù)訓(xùn)練的語言模對相關(guān)海量文本分類/聚類時(shí)，對CPU內(nèi)存的要求非常高，甚至很多情況下單服務(wù)器根本不能運(yùn)行，只能組成服務(wù)器集群運(yùn)行，因此該方案的運(yùn)行成本是很高的。考慮到精度與所成本資源之間的平衡，在對海量文本進(jìn)行分類/聚類時(shí)，單獨(dú)使用上述方法是不切實(shí)際的。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明提出一種海量文本的低成本分類與聚類處理方法，包括以下步驟：

S1：通過預(yù)訓(xùn)練語言模型對海量文本輸入進(jìn)行語言模型預(yù)訓(xùn)練，得到海量文本的原始高維向量表達(dá)；

S2：通過PCA主成分分析法對所述原始向量表達(dá)進(jìn)行提取，得到低維向量表達(dá)；

S3：將所述低維向量表達(dá)作為分類與聚類處理方法的輸入向量，進(jìn)行分類與聚類。

進(jìn)一步的，所述步驟S1包括以下子步驟：

S11：使用word2vector/BERT模型進(jìn)行預(yù)訓(xùn)練；

S12：使用海量語料樣本作為訓(xùn)練樣本。

進(jìn)一步的，所述步驟S2包括以下子步驟：

S21：獲取保留99%有效成分情況下的最大貢獻(xiàn)數(shù)據(jù)維度及其具體數(shù)據(jù)；

S22：使用成熟的sklearn庫中的PCA算法。

進(jìn)一步的，所述步驟S3包括以下子步驟：

S31：進(jìn)行聚類和分類的輸入文本向量維度降至2位數(shù)；

S32：使用使用成熟的sklearn庫中的分類與聚類處理方法。

本發(fā)明的有益效果在于：本方法在對海量文本進(jìn)行分類與聚類時(shí)，兼顧了精度與運(yùn)行速度，同時(shí)僅需單服務(wù)器即可實(shí)施，節(jié)約了算力資源。

附圖說明

圖1是海量文本的低成本分類與聚類處理方法流程示意圖。

具體實(shí)施方式

為了使本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。