[發(fā)明專利]一種基于分詞和詞性分析的后綴樹(shù)聚類方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201310129771.6
• 申請(qǐng)日: 2013-04-15
• 公開(kāi)（公告）號(hào): CN103226546A
• 公開(kāi)（公告）日: 2013-07-31
• 發(fā)明（設(shè)計(jì)）人: 陸月明;張吉偉;黨秋月
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及應(yīng)用于搜索引擎的一種基于分詞和詞性分析的后綴樹(shù)聚類方法，屬于計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域。?

背景技術(shù)

隨著信息技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)上的數(shù)據(jù)正在以驚人的速度增長(zhǎng)，人們對(duì)網(wǎng)絡(luò)內(nèi)容的需求也越來(lái)越大，網(wǎng)絡(luò)內(nèi)容搜索成為目前應(yīng)用最為廣泛的一種互聯(lián)網(wǎng)服務(wù)。搜索引擎是進(jìn)行網(wǎng)絡(luò)內(nèi)容搜索的主要渠道，各國(guó)都在發(fā)展具有自主知識(shí)產(chǎn)權(quán)的搜索引擎，不斷開(kāi)展對(duì)搜索引擎關(guān)鍵技術(shù)的研究。?

網(wǎng)絡(luò)上的內(nèi)容涉及方方面面，并且存在大量未經(jīng)整理與分類的信息，而這對(duì)想要快速獲取特定方面信息的人們來(lái)說(shuō)造成了一定的困難。為幫助人們從這些大量的數(shù)據(jù)中分析出期間所蘊(yùn)含的有價(jià)值的信息，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。?

數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中提取隱含在其中的知識(shí)的過(guò)程。聚類是數(shù)據(jù)挖掘采用的一種重要方法。它從數(shù)據(jù)庫(kù)中尋找數(shù)據(jù)間的相似性，并依次對(duì)數(shù)據(jù)進(jìn)行分類，使得同一類數(shù)據(jù)間的相似性盡可能高，不同類數(shù)據(jù)間的相似性盡可能低。不同的聚類算法有著不同的應(yīng)用背景，后綴樹(shù)聚類方法采用后綴樹(shù)模型來(lái)處理文本信息，能快速解決很多字符串方面的問(wèn)題，其聚類準(zhǔn)確率比經(jīng)典的聚類算法（如K-Means算法）高，更適合應(yīng)用于文本數(shù)據(jù)的聚類。?

后綴樹(shù)聚類方法在處理的過(guò)程中仍有一些需要改進(jìn)的地方，比如，原?始文檔過(guò)長(zhǎng)，則計(jì)算機(jī)在處理的時(shí)候要求更多的時(shí)間；文本中存在很多冗余信息，計(jì)算機(jī)處理這些文本需要耗費(fèi)大量的計(jì)算資源。不同類型的文本在詞語(yǔ)的結(jié)構(gòu)上有明顯的不同之處，采用相同的方式處理它們顯然并不是最佳的選擇。?

本發(fā)明提出一種基于分詞和詞性分析的后綴樹(shù)聚類方法，該發(fā)明通過(guò)對(duì)文檔進(jìn)行分詞處理、詞性統(tǒng)計(jì)、權(quán)重計(jì)算和主要成分提取的手段，提取文檔中的關(guān)鍵信息，降低待聚類信息的維度，從而降低后綴樹(shù)聚類的復(fù)雜度，同時(shí)可提高聚類結(jié)果的精確性。?

發(fā)明內(nèi)容

本發(fā)明“一種基于分詞和詞性分析的后綴樹(shù)聚類方法”的目的在于提出一種改進(jìn)型的后綴樹(shù)聚類算法。該方法應(yīng)用于后綴樹(shù)聚類方法的文檔預(yù)處理階段，通過(guò)分詞和詞性分析從包含大量文字的待聚類文檔中提取摘要，以降低后綴樹(shù)聚類的復(fù)雜度。?

本發(fā)明的主要方法包括文檔分詞處理模塊、詞性分析模塊，后綴樹(shù)聚類模塊三部分。參照?qǐng)D1：?

（1）文檔分詞處理模塊?

文檔分詞處理模塊完成去除停頓詞和文檔分詞處理兩個(gè)功能。?

無(wú)論是英文還是中文，頁(yè)面內(nèi)容中都會(huì)有一些出現(xiàn)頻率很高，卻對(duì)內(nèi)容沒(méi)有任何影響的詞，如的、滴、得之類的助詞，啊、哈、呀之類的感嘆詞，從而，以、卻之類的副詞或者介詞，這些詞被稱為停頓詞。由于他們對(duì)頁(yè)面的主要意思沒(méi)有什么影響，在文檔預(yù)處理階段應(yīng)首先將其去掉。?

在英文的行文中，單詞之間是以空格作為自然分界符的，但中文只是字、?句、段才能通過(guò)明顯的分界符來(lái)簡(jiǎn)單劃界，詞語(yǔ)之間沒(méi)有一個(gè)形式上的分界符。雖然英文也同樣存在短語(yǔ)的劃分問(wèn)題，不過(guò)在詞語(yǔ)這一層面上，中文比英文要復(fù)雜的多。目前中科院和復(fù)旦大學(xué)等都對(duì)分詞技術(shù)進(jìn)行了研究，并取得了良好的效果。?

在本發(fā)明中，文檔（如txt文檔）分詞處理模塊（如使用中科院的ICTCLAS分詞系統(tǒng)）的功能為：分詞器把一個(gè)漢字序列切分成一個(gè)一個(gè)的詞語(yǔ)，同時(shí)，還為每個(gè)切分出來(lái)的詞語(yǔ)標(biāo)注出詞性信息。?

（2）詞性分析模塊?

詞性分析模塊完成詞性權(quán)重計(jì)算、句子主要成分提取兩個(gè)功能。?

該模塊旨在去除文檔中的非重要信息，僅把經(jīng)過(guò)降維處理后的文檔的主要成分交給后綴樹(shù)聚類方法，以降低聚類方法需要處理的維度和聚類過(guò)程的復(fù)雜度。?

目前聚類主要考慮的因素是語(yǔ)義而不是情感，因此詞性分析只需考慮包含語(yǔ)義信息的詞語(yǔ)即可。在各種詞性的詞語(yǔ)中，名詞和動(dòng)詞包含了大量的語(yǔ)義信息，形容詞則反應(yīng)了情感傾向，因此在本發(fā)明中，詞性分析模塊只考查名詞和動(dòng)詞這兩種詞性的詞語(yǔ)，其他詞性的詞語(yǔ)詞性分析模塊不予計(jì)算。?

本發(fā)明中的詞性分析模塊分別計(jì)算文檔中名詞和動(dòng)詞的比重，對(duì)兩者進(jìn)行比較，其中某種詞性比重大，則說(shuō)明該種詞性的詞語(yǔ)區(qū)分能力強(qiáng)，也即信息量更大，在本發(fā)明中把詞性比重大的詞語(yǔ)稱作為文檔的主要成分。?

該模塊功能的具體實(shí)現(xiàn)方式為：首先計(jì)算文檔中不重復(fù)的詞語(yǔ)的權(quán)重，然后分別計(jì)算動(dòng)詞和名詞的權(quán)重和，最后，比較兩種詞性的詞語(yǔ)的權(quán)重和，取其大者作為句子的主要成分進(jìn)行提取。?

（3）后綴樹(shù)聚類模塊