[發(fā)明專利]非結(jié)構(gòu)化數(shù)據(jù)的處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201410165877.6
• 申請(qǐng)日: 2014-04-23
• 公開（公告）號(hào): CN105022740A
• 公開（公告）日: 2015-11-04
• 發(fā)明（設(shè)計(jì)）人: 趙關(guān)榮;劉政;張?zhí)鞊P(yáng);王雯;程志剛;馬一人
• 申請(qǐng)（專利權(quán)）人: 蘇州易維迅信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種非結(jié)構(gòu)化數(shù)據(jù)的處理方法和裝置。

背景技術(shù)

列車的客服系統(tǒng)在實(shí)際的運(yùn)行過(guò)程中會(huì)產(chǎn)生大量的客運(yùn)服務(wù)系統(tǒng)報(bào)表記錄數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含了豐富的與系統(tǒng)運(yùn)行相關(guān)的信息，且這些數(shù)據(jù)一般都是非結(jié)構(gòu)化的，即沒(méi)有一定的格式，因此，主要采用非結(jié)構(gòu)化數(shù)據(jù)聚類的方法對(duì)這些數(shù)據(jù)進(jìn)行處理。

目前，該非結(jié)構(gòu)化數(shù)據(jù)聚類的方法主要包括隱含語(yǔ)義分析(Latent?Semantic?Analysis，簡(jiǎn)稱LSA)方法。該LSA方法主要分為三步：分詞、向量化和聚類。具體的，先采用漢語(yǔ)詞法分析系統(tǒng)(Institute?of?Computing?Technology，Chinese?Lexical?Analysis?System，簡(jiǎn)稱ICTCLAS)對(duì)待聚類數(shù)據(jù)進(jìn)行分詞，獲取分詞結(jié)果；然后采用DF算法對(duì)該分詞結(jié)果進(jìn)行特征提取，獲取特征詞，再采用向量空間模型(Vector?Space?Model，簡(jiǎn)稱VSM)對(duì)獲取到的特征詞進(jìn)行向量化，得到一個(gè)矩陣Y來(lái)表示所有的特征詞，并采用奇異值分解(Singular?value?decomposition，簡(jiǎn)稱SVD)對(duì)該矩陣Y進(jìn)行降維，獲取降維后的數(shù)據(jù)矩陣W。最后，采用Kmeans算法對(duì)數(shù)據(jù)矩陣W進(jìn)行聚類，得到最終的數(shù)據(jù)聚類結(jié)果。需要說(shuō)明的是，對(duì)分詞結(jié)果進(jìn)行特征提取的原理是：如果一個(gè)詞的出現(xiàn)頻率很高或者很低，那么這個(gè)詞的信息含量很少，大部分?jǐn)?shù)據(jù)都含有這個(gè)詞或者都不含這個(gè)詞，那么該詞對(duì)分辨這些數(shù)據(jù)是毫無(wú)意義的，可以不提取該詞。

但是，現(xiàn)有的LSA方法在處理客運(yùn)服務(wù)系統(tǒng)報(bào)表記錄數(shù)據(jù)時(shí)會(huì)存在如下缺陷：一是由于客運(yùn)服務(wù)系統(tǒng)報(bào)表記錄數(shù)據(jù)的專業(yè)化程度很高，即含有豐富的專業(yè)詞匯，因此在分詞過(guò)程中容易將這些數(shù)據(jù)中的專業(yè)詞匯刪除；二是由于客運(yùn)服務(wù)系統(tǒng)報(bào)表記錄數(shù)據(jù)并不是一個(gè)完整的語(yǔ)句，有可能僅僅是一些短語(yǔ)，甚至不一定符合語(yǔ)法規(guī)范，因此，采用ICTCLAS對(duì)其進(jìn)行分詞很難得到合適的分詞結(jié)果，從而造成了在采用LSA方法在處理客運(yùn)服務(wù)系統(tǒng)報(bào)表記錄數(shù)據(jù)時(shí)獲取的聚類結(jié)果質(zhì)量較低的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種非結(jié)構(gòu)化數(shù)據(jù)的處理方法和裝置，解決了現(xiàn)有技術(shù)中將出現(xiàn)次數(shù)很高和很低的詞匯刪除，造成不合適的分詞結(jié)果，導(dǎo)致聚類結(jié)果的質(zhì)量較低的問(wèn)題，有效的提高了對(duì)非結(jié)構(gòu)化數(shù)據(jù)的聚類處理的質(zhì)量和效率。

本發(fā)明實(shí)施例第一方面提供一種非結(jié)構(gòu)化數(shù)據(jù)的處理方法，包括：

根據(jù)預(yù)先配置的字典樹，對(duì)獲取的待處理的數(shù)據(jù)進(jìn)行分詞處理，獲取分詞結(jié)果；所述字典樹是根據(jù)所述預(yù)先配置的知識(shí)數(shù)據(jù)庫(kù)建立的，其中，所述知識(shí)數(shù)據(jù)庫(kù)為二元組的集合，且所述二元組的集合包括文本信息和對(duì)應(yīng)的編號(hào)；

采用向量空間模型VSM，對(duì)所述分詞結(jié)果進(jìn)行向量化處理，獲取向量化結(jié)果；

采用主成分分析法PCA或奇異值分解算法SVD，對(duì)所述向量化結(jié)果進(jìn)行降維處理，獲取降維結(jié)果；

采用數(shù)據(jù)挖掘算法K-means算法對(duì)所述降維結(jié)果進(jìn)行連續(xù)兩次聚類計(jì)算，并根據(jù)所述聚類計(jì)算獲取的歐氏距離或余弦相似度，對(duì)所述待處理數(shù)據(jù)進(jìn)行聚類，獲取聚類結(jié)果。

本發(fā)明第二方面提供一種非結(jié)構(gòu)化數(shù)據(jù)的處理裝置，包括：

分詞模塊，用于根據(jù)預(yù)先配置的字典樹，對(duì)獲取的待處理的數(shù)據(jù)進(jìn)行分詞處理，獲取分詞結(jié)果；所述字典樹是根據(jù)所述預(yù)先配置的知識(shí)數(shù)據(jù)庫(kù)建立的，其中，所述知識(shí)數(shù)據(jù)庫(kù)為二元組的集合，且所述二元組的集合包括文本信息和對(duì)應(yīng)的編號(hào)；

向量化模塊，用于采用向量空間模型VSM，對(duì)所述分詞結(jié)果進(jìn)行向量化處理，獲取向量化結(jié)果；

降維模塊，用于采用主成分分析法PCA或奇異值分解算法SVD，對(duì)所述向量化結(jié)果進(jìn)行降維處理，獲取降維結(jié)果；

聚類模塊，用于采用數(shù)據(jù)挖掘算法K-means算法對(duì)所述降維結(jié)果進(jìn)行連續(xù)兩次聚類計(jì)算，并根據(jù)所述聚類計(jì)算獲取的歐氏距離或余弦相似度，對(duì)所述待處理數(shù)據(jù)進(jìn)行聚類，獲取聚類結(jié)果。

本發(fā)明提供的非結(jié)構(gòu)化數(shù)據(jù)的處理方法和裝置，根據(jù)知識(shí)數(shù)據(jù)庫(kù)構(gòu)建的字典樹對(duì)待處理的數(shù)據(jù)進(jìn)行分詞處理獲得分詞結(jié)果，并對(duì)該分詞結(jié)果進(jìn)行向量化，進(jìn)一步進(jìn)行降維處理獲得降維結(jié)果，再對(duì)該降維結(jié)果進(jìn)行連續(xù)兩次的聚類計(jì)算，獲取聚類結(jié)果，解決了現(xiàn)有技術(shù)中將出現(xiàn)次數(shù)很高和很低的詞匯刪除，造成不合適的分詞結(jié)果，導(dǎo)致聚類結(jié)果的質(zhì)量較低的問(wèn)題，有效的提高了數(shù)據(jù)進(jìn)行聚類處理的質(zhì)量和效率。

附圖說(shuō)明